Categories
程式開發

深度學習先驅Bengio解讀第二代深度學習系統:實現通用人工智能的下一步


我們先舉個例子,假設你一輩子都在美國亞利桑那州鳳凰城的公路上開車,然後突然去了紐約。你需要重新學習駕駛技術嗎?很可能不需要。你只需要小心一點駕駛,讓自己適應新的路況環境。

但對於深度學習算法而言就不是這樣了,這個前沿的人工智能領域也是自動駕駛的主要組成部分。最近幾年,深度學習及其底層依賴技術——深度神經網絡,儘管推動了AI領域的發展,但是也存在著一些基本問題沒有解決,這些問題阻礙它們學習到人類大腦的一些最基礎的功能。

深度學習的這些挑戰眾所周知,並且越來越多的科學家承認這些問題可能對AI的未來產生強大的阻力。

在NeurIPS 2019(神經信息處理系統大會:Conference on Neural Information Processing Systems)大會上,深度學習三大先驅之一,Yoshua Bengio發表了一次主題演講,這次演講為讓我們走向具有人類水平的AI提供了可能的方向。 Bengio的演講題目為“從一代深度學習系統到二代深度學習系統”,這篇演講技術性非常強,並且介紹了他和其他人近幾年做過的相關研究。

深度學習先驅Bengio解讀第二代深度學習系統:實現通用人工智能的下一步 1

目前深度學習處於什麼狀態?

“有些人認為,把我們已有的技術和資源用起來,不斷增加數據集大小、增加模型大小和計算機性能可能就足夠了——只需要得到一個容量更大的大腦就可以了。”NeurIPS2019大會上Bengio的開場白如是說。

深度學習先驅Bengio解讀第二代深度學習系統:實現通用人工智能的下一步 2

這句簡單的句子代表著目前AI研究中的一個主要問題。在大型數據集中進行模式檢測方面,人工神經網絡已經證明是非常有效的。而且,這些網絡能夠以可伸縮的方式做到這點。大部分情況下,增加神經網絡大小,在更大的標註數據集上進行訓練將增加它們的精確度(儘管是以對數級的方式增加)。

神經網絡的這個特點讓大家以為“越大、越好”,使得一些AI研究人員通過創建越來越大的AI模型和數據集來獲得改進和突破。

儘管我們可以說,大小是一個因素,但是,我們至今還沒有一個神經網絡的大小能夠匹配人類大腦的1000億神經元結構,目前AI系統的一些缺陷是不能夠通過增加網絡大小來解決的。

“我們有些機器學習算法從樣本中學到的知識面非常窄。相比人類智慧,它們學習任務時就需要更多的樣本。”Bengio說道。

例如,一個AI系統被訓練用於玩棋類游戲或者視頻遊戲,那這個系統就沒辦法完成其他任務,甚至不能玩另一種稍微不同點的遊戲。同樣的,大部分情況下,深度學習算法需要數以百萬的樣例來學習如何完成任務。一個例子是OpenAI發明的玩Dota的神經網絡,它需要45000年的遊戲經驗才能擊敗世界冠軍,這比任何個人,或者十個人、一百個人一輩子玩遊戲的時間還要長。艾倫人工智能研究所開發的一款AI系統Aristo,需要300GB科學文章和知識圖,才能回答8年級的多項選擇題。

最後,Bengio評論說當今的深度學習系統“會犯些愚蠢的錯誤”,並且“對分佈的變化不是很魯棒”。這是目前AI系統最關心的問題之一。神經網絡容易受到對抗性樣本的影響,這些樣本會帶來一些數據擾動,導致AI系統產生錯誤結果。

對抗性漏洞很難消除,它們會在一些對結果敏感的領域產生破壞性影響,在這些領域產生錯誤會帶來致命後果。

從一代深度學習系統走向二代深度學習系統

深度學習先驅Bengio解讀第二代深度學習系統:實現通用人工智能的下一步 3

儘管有局限性,目前的深度學習技術仍然複製了自然智力中的一個基本組成部分,Bengio稱之為“一代系統”認知。

“一代系統是指我們憑直覺、不自覺地做著的事情,在行為方面,我們不能通過語言來解釋那些習慣性的事情,”Bengio說道,“這是目前深度學習所擅長的。”

Bengio對深度學習擴展的定義和該領域其他的思想領袖不謀而合。 “如果一個普通人只需花費1秒鐘來思考一個事情,我們在現階段或者不遠的將來就很可能通過AI把這個過程自動化。”Coursera的聯合創始人和百度AI以及谷歌大腦前任負責人Andrew Ng,在2016年《哈佛商業評論》的一篇文章中如此寫道。

深度學習已經創建了許多有用的一代系統應用,特別是在計算機視覺領域。 AI算法現在可以執行的任務包括:圖像分類、物體檢測和麵部識別,而且精確度通常都超過人類。語音識別和語音文字轉換是目前另外兩個深度學習運行得很好的領域。

但是,一代系統也有局限性,甚至在深度學習取得實質性進展的領域也是如此。

Bengio這樣解釋一代系統和二代系統的差異:想像一下在附近熟悉的街道上駕駛。你在這些區域常常可以下意識地導航,因為這些街道上的視覺線索你已經看過了數百次。你不需要方向指引就能夠知道走哪個方向。你甚至可以在駕駛時與其他乘客進行交談,而不用太關注駕駛任務。

但是,當你去到一個新的區域,你不大認識這裡的街道,街道上的標識對你來說也都是全新的,這時候你可能就會更多地關注街道上的標識,利用地圖導航,從其他標記獲取幫助來找到目的地。

後者場景正是二代系統認知發揮作用的地方。它能夠幫助人類在新的環境裡泛化之前獲取的知識和經驗。 “在這個場景下,你以一種更加強大的方式進行泛化,並且是以一種可解釋、有意識的方式來進行的。”Bengio在NeurIPS大會上說道。

“我們在二代系統裡所做的事情包括編程。所以我們提出了算法、訓練方法,我們可以計劃、推理,使用邏輯,”Bengio說道。 “如果要使用電腦來做這些事情,通常來說,這些事情做起來會非常慢。這些事情也是我們希望未來的深度學習能夠很好完成的。”

並非回歸符號AI方法

深度學習先驅Bengio解讀第二代深度學習系統:實現通用人工智能的下一步 4

許多文檔都很好地描述了深度學習的局限性和挑戰。在過去的十幾年裡,這方面有過許多討論,也有很多研究用來解決各種問題,包括創建可解釋的、不那麼依賴數據的AI系統。

這個領域的一些早期方法包括使用符號人工智能元素和基於規則的方法,在深度學習方法崛起之前,這些方法處於AI領域的主導地位。其中一個例子是神經元符號概念學習器(Neuro-Symbolic Concept:NSCL),這是MIT和IBM研究人員開發的一種混合AI系統。

但是,Bengio強調說他沒有計劃重新回到符號AI來進行研究。 “一些人認為我們需要創造出全新的方法來應對這些挑戰,可能要回到傳統AI來處理諸如高級認知這樣的問題。”Bengio說道,並補充道,“從我們現在的水平擴展深度學習能力,處理二代系統認知中的高級問題,是有一條途徑的。”

Bengio堅定地認為不要回歸到基於規則的AI方法。事實上,在演講的某些環節中,他使用了“規則”這個詞,然後又馬上澄清他並不是說符號AI所使用的那種規則。在演講最後,當一名與會者將Bengio的解決方案描述為一種AI“混合”方法時,他再一次澄清,他並不是要提出一種結合符號AI和聯結主義AI的方法。

Bengio表達的想法與Martin Ford類似,Martin Ford是《智能建築師》一書的作者,這本書匯集了對頂尖AI科學家的採訪。 “請注意,你的大腦都是神經網絡。我們必須提出不同的架構和不同的訓練框架,能夠做傳統AI嘗試去做而未能做到的事情,比如推理,對你所看到的東西和計劃做的事情推斷出一種解釋。”Bengio在2018年對Ford如是說。

在他的NeurIPS演講中,Bengio闡述了為什麼符號AI和混合系統不能幫助我們實現二代深度學習系統。

智能係統應該能夠有效地、大規模地泛化。機器學習系統能夠根據可用的計算資源和數據進行擴展。而符號AI要求人類工程師手動指定模型行為規則,這就成為了該方法一個嚴重的瓶頸。

它們還應當能夠應對現實世界的不確定性和混亂,在這個方面,機器學習要優於符號AI。

實現二代深度學習系統有什麼要求?

“當你學習一個新任務時,你一定想用非常少的數據來學習它,”Bengio說道。例如,當你戴上太陽鏡時,你的視覺系統輸入就會變得很不一樣。但是,你很快就會適應,並處理輸入信息。而目前的AI系統在環境出現輕微的改變時,卻需要重新訓練。

為了在AI系統中復制人類的這種行為,AI系統需要發現並處理數據和環境中的高級表示。 “我們希望機器能夠理解這個世界,建立優秀的世界模型,能夠理解因果關係,能夠通過在世界中行動來獲取知識,”Bengio說道。

在Bengio的演講中,他提供了指引,用來改進深度學習系統來實現二代系統能力。指引細節非常的技術化,並且引用了最近十幾年的一些研究論文和項目。但是,在他的演講中反復出現的一些主題,為我們提供了下一步行動的線索。

無序(Out of order:OOD)分佈是未來深度學習的關鍵

深度學習先驅Bengio解讀第二代深度學習系統:實現通用人工智能的下一步 5

圖片來自:Depositphotos

目前的機器學習系統是基於獨立同分佈(Independently and Identically Distributed:IID)數據假設的。基本上,機器學習算法在訓練數據集和測試數據集同分佈時表現得最好。這個假設在一些簡單的場景下體現得最好,如拋擲硬幣和扔骰子。

但是現實世界是混亂的,分佈幾乎從來就不是統一的。這也就是為什麼機器學習工程師通常會盡可能多地收集數據,並且打亂這些數據的順序來確保數據分佈均衡,然後再把它們分為訓練集和測試集。

“當我們這樣做時,我們就破壞了採集的數據中固有的分佈變化信息,這些信息卻是十分重要的,”Bengio說道。 “相比破壞這些信息,我們應當利用它們的順序來學習世界是如何變化的。”

智能係統應當能夠泛化到不同的數據分佈上,正如人類兒童能夠學習來適應他們的身體以及周邊環境發生的變化一樣。 “我們構建的系統要能夠處理這些變化,能夠持續學習,終生學習等等。”Bengio在他的NeurIPS演講中說道。 “這是機器學習的一個長期目標,但是我們現在還沒有建立起一個解決方案。”

深度學習中的注意力機制及組合性

能夠幫助AI系統獲得更加一致行為的一個概念,就是它們是如何分解數據並找到那些重要成分的。人們在這個方向已經有了一些進展,Bengio參與了其中的一些工作。

人們在這個方向一個重要的貢獻就是“注意力機制”技術,它能夠讓神經網絡聚焦在相關信息上。注意力機制在自然語言處理(Natural Language Processing:NLP)方面具有非常重要的作用,自然語言處理是AI的一個分支,其處理的任務包括機器翻譯和智能問答系統。

但是目前的神經網絡結構運行注意力機制都基本上是基於向量運算。數據由定義特徵的數值型數組表示。下一步就是要讓神經網絡能夠基於名-值對來運行注意力機制並進行相應數據表示,這有點像基於規則程序中使用的變量表示方式。但是深度學習中的這種方式應當是更適用於深度學習表示的。

在遷移學習領域,這方面已經有了很大進展,這個領域的任務是將一個神經網絡的參數映射到另一個神經網絡。但是,更好的信息成分組合性能夠讓深度學習系統在其任務範疇內更好地提取和操作高級特徵,並動態地適應新的環境,無需額外的調優及大量數據。有效的信息組合是邁向無序分佈的重要一步。

具有因果結構的深度學習系統

眾所周知,目前機器學習系統的主要短板之一是在因果關係的處理上,因果關係研究是圍繞著尋找和匹配數據模式而展開的。 Bengio認為,讓深度學習系統能夠組合和操作這些命名對象和語義變量,將有助於我們走向具有因果結構的人工智能係統。

“為了促進因果結構的學習,學習器應當嘗試推斷其中的干預措施發生在哪裡,其中的變量正是因為這些干預而發生了變化。這是我們一直在研究的事情。”Bengio在NeurIPS的演講上說道。

整場演講包含了很多非常有價值的信息,比如意識、語言在智力中的作用以及神經領域和機器學習領域的結合。不幸的是,本篇博客不可能涵蓋和展開介紹所有這些信息。我建議觀看完整視頻(觀看兩次)。

許多科學家試圖推動人工智能領域向前發展,讓機器向人類一樣思考,而不是停留在預測和模式匹配上,Bengio就是這些科學家之一。讓我們看看科學家們的這些努力將引領我們走向何處,這真的是非常有趣。

原文鏈接:

https://bdtechtalks.com/2019/12/23/yoshua-bengio-neurips-2019-deep-learning/