Categories
程式開發

DeepMind 構建了一套模擬想像力的神經網絡


經常有人問我,人工智能有想像力嗎?我是怎麼回答的呢?現階段,人工智能可以說是已經具備了一定的想像力,比如基於生成對抗網絡(Generative Adversarial Networks,GAN)的各種技術,就能憑空畫出實際不存在的、但極為逼真的事物。這可以稱為人工智能有想像力嗎?我認為可以。今天,DeepMind 為了讓人工智能擁有想像力,他們為這一目標做了嘗試,讓我們看看他們是怎麼實現的。想像力並不是關鍵,關鍵是自我意識。

為了構建受神經科學啟發的架構,DeepMind 創建了一個類似人類思維想像力的模型。

創造出類似人腦認知能力的智能體,一直是人工智能領域中最難以實現的目標之一。最近,我花了一些時間研究幾個與深度學習系統中與想像力有關的幾個場景,這讓我想起了去年Alphabet 的子公司DeepMind 發表的一篇關於這一主題的論文,這篇論文的影響力很大。

想像力是人類思維的神奇特徵之一,正是有了想像力,我們人類才能夠與其他物種區別開來。從神經科學的角度來看,想像力是大腦在沒有任何直接的感覺輸入的情況下,形成圖像或感覺的能力。想像力是我們學習過程中的一個關鍵因素,因為它使我們能夠將知識應用到特定的問題中,並更好地規劃未來的結果。當我們在日常生活中執行任務時,為了優化我們的行動,我們會不斷地“想像”潛在的結果。這一點兒也不奇怪,因為從認知的角度來看,想像力常常被認為是進行規劃的基礎。

長期以來,將想像力整合到智能體中,一直是該領域研究人員難以實現的目標。讓我們想像一下這樣的人工智能程序,它們不僅能夠學習新任務,還能規劃和推理未來。最近,我們已經看到了一些令人矚目的研究成果,比如在 AlphaGo 等系統的智能體中添加想像力的方面。去年,他們發表了一篇著名研究論文的最新修訂版,該論文概述了實現這一目標的首批神經網絡架構之一。

在智能體的背景下,我們該如何定義想像力呢?在 DeepMind 的案例中,他們將想像力增強的智能體定義為包含以下特徵的系統:

DeepMind 構建了一套模擬想像力的神經網絡 1

深度強化學習(Reinforcement learning,RL)通常被認為是想像力增強的智能體的標誌,因為它能夠試圖將觀察結果和行為關聯起來。但是,深度強化學習系統通常需要大量的訓練,訓練結果是針對環境中特定任務的知識定制的。 DeepMind 的論文提出了一種替代傳統模型的方法,即使用通過環境模擬來學習“解釋”不完美預測的模型。這一想法是讓並行模型使用模擬來提取有用的知識,可用於核心模型。就像我們經常判斷一個人(那個傢伙沒有想像力)一樣,我們可以將想像力模型視為深度學習項目的增強能力。

I2A 架構

為了讓深度學習智能體能夠實現“想像力”,DeepMind 團隊依賴於一種 I2A 的智能神經網絡架構。 I2A 架構的關鍵元素是一個稱為 Imagination Core(想像力核心)的組件,它使用一個環境模型,在給定有關當前環境的信息的情況下,對其未來狀態進行預測。給定過去的狀態和當前的動作,環境模型可以預測下一個狀態和來自環境的任意數量的信號。 I2A 架構通過當前的實際觀測來初始化想像的軌跡,並隨後將模擬的觀察結果輸入到模型中,在未來的多個時間步驟中 rollout 環境模型。在每次 rollout 中生成的操作有助於定義智能體策略,然後由 Imagination Core 模塊使用。

譯註:Rollout,在仿真軌跡層面上進行更新學習中,rollout 表示一次試驗,一條軌跡。

DeepMind 構建了一套模擬想像力的神經網絡 2

I2A 架構的關鍵元素之一是 rollout 編碼器,用於負責“解釋”Imagination Core 產生的信息,並提取對智能體決策有用的任何信息,甚至在必要時忽略它。

玩倉庫番遊戲

為了了解 I2A 模型的運行情況,DeepMind 團隊創建了一個實現,嘗試玩倉庫番(Sokoban)遊戲。倉庫番是一個經典的規劃問題,其中智能體必須將許多箱子推到給定的目標位置。因為箱子只能推(而不是拉),所以許多動作是不可逆的,一旦出錯,會使遊戲無法闖關而失敗。因此,人類玩家被迫提前規劃走法。想像力增強模型表現出了從不完美的環境(如倉庫番)中學習的驚人能力,如以下視頻所示:

視頻地址:https://v.qq.com/x/page/h3042q70ash.html

譯註: 倉庫番(Sokoban)是一款經典電子遊戲,1982 年由日本 Thinking Rabbit 公司首次發行。之後其他遊戲開發者爭相製作仿製或衍生作品。致使倉庫番成為此類游戲的代名詞。遊戲要求玩家在二維地圖上把箱子推到指定地點,當中牽涉到大量的空間邏輯推理。

DeepMind 團隊對照更傳統的深度強化技術對 I2A 模型進行了基準測試,結果很是引入註目。 I2A 的表現達到了驚人的 85%,遠遠優於其他策略。

DeepMind 構建了一套模擬想像力的神經網絡 3

倉庫番實驗最令人印象深刻的結果之一是,想像力增強的智能體能夠在可能不完美的環境模型中想像軌跡,並忽略不准確的信息。考慮到越來越多的場景需要智能體在信息不完善和數據有限的情況下進行操作,這一點尤為重要。

想像力是那些能夠為新一代智能體打開大門的關鍵能力之一。像 I2A 這樣的技術,仍然處於非常初級的階段,但它可以成為增強學習架構的關鍵組成部分,在這種架構中,智能體不僅能夠學習現在,而且還能夠“想像”未來。

作者介紹:

Jesus Rodriguez,Invector Labs首席科學家、執行合夥人。 IntoTheBlock 首席技術官。同時具有天使投資人、作家、多家軟件公司的董事會成員的身份。

原文鏈接:

https://towardsdatascience.com/deepmind-builds-neural-networks-that-simulate-imagination-921b31903705