Categories
程式開發

AI架構師Yoshua Bengio:深度學習的研究,對於工業應用來說太過簡單


AI架構師Yoshua Bengio:深度學習的研究,對於工業應用來說太過簡單 1

拍攝:Maryse Boyce

Yoshua Bengio(https://mila.quebec/en/person/bengio-yoshua/)被稱為深度學習領域的“三個火槍手”之一,深度學習是人工智能(AI:Artificial Intelligence)領域的一個分支,目前在該領域佔據主導地位。

Bengio是蒙特利爾大學教授,因在神經網絡應用領域實現了諸多關鍵突破而聞名業內——同樣重要的是,在AI所經歷的20世紀80年代晚期和90年代的漫長冬天裡,他依然堅持AI的研究工作,那時大部分人都認為神經網絡是一個死胡同。

由於堅持不懈的努力,在2018年,他獲得了回報,他和他的火槍手同伴(Geoffrey Hinton(https://www.cs.toronto.edu/~hinton/)和Yann LeCun(http://yann.lecun.com/))贏得了圖領獎(https://www.acm.org/media-center/2019/march/turing-award-2018),這個獎項被譽為計算機界的諾貝爾獎。

現在,人們越來越多地討論著深度學習的缺點(https://www.wired.com/story/greedy-brittle-opaque-and-shallow-the-downsides-to-deep-learning/)。在這樣的背景下,IEEE Spectrum採訪了Bengio,探討該領域未來將走向何方。 12月11日,他在NeurIPS(世界上最大的、最熱門的AI會議,https://nips.cc/Conferences/2019/)大會上發表了類似的演講;他的演講題目是“從深度學習第一系統到第二系統。”(https://nips.cc/Conferences/2019/Schedule?showEvent=15488

以下是Yoshua Bengio的採訪目錄:

深度學習及其瑕疵

受大腦啟發計算方式的曙光

學會如何學習

“工業界還沒有準備好”

物理、語言和常識

深度學習及其瑕疵

IEEE Spectrum:你如何看待對深度學習局限性的這些討論?

Yoshua Bengio:大多數公開場合下的討論,都不太理解AI和其他學科中的研究人員做研究的方式:我們試圖去理解我們所從事的理論和方法的局限性,這是為了拓展我們的智能工具的應用範圍。所以深度學習研究人員也在尋找深度學習在哪些地方存在局限性,在哪些地方深度學習並沒有像預期的那樣運轉得很好。通過這樣的探索,我們就能弄明白需要往現有知識中添加什麼,需要朝哪個方向繼續探索。

Gary Marcus對Bengio描述深度學習的立場提出了質疑。 Marcus說道:“Yoshua的描述,聽起來好像我是(嚴格地)反深度學習的,而我實際上是讚成混合學習的,我青睞於使用深度學習,但也傾向於深度學習能與其他機制方法結合使用。深度學習是一個不錯的工具,但也只是眾多工具中的一種。”

Gary Marcus(https://arxiv.org/abs/1801.00631)等人就抓住了這點,他們認為:“瞧,深度學習不管用了。”但實際上,像我這樣的研究人員正在做的只是擴大深度學習的應用範圍。當我談到AI系統需要有能夠理解因果關係的機制(https://www.wired.com/story/ai-pioneer-algorithms-understand-why/)時,我不是說這種機制會取代深度學習。我只是想往深度學習這個工具箱裡添加點東西進去。

作為一名科學家,對我來說重要的是需要探索什麼東西才能解決問題,而不是誰是正確的,誰是錯誤的,或者在哪個宗教教堂裡祈禱。

Spectrum:你怎樣評估目前的深度學習狀態?

Bengio:關於最近二十幾年這方面所取得的進展:我認為我們的人工智能水平離一個兩歲小孩子的智力水平都還差得很遠。但也許我們的算法可以和低等動物的智力水平相媲美了(https://spectrum.ieee.org/preview/tech-talk/robotics/artificial-intelligence/animal-ai-olympics-tests-ai-on-intelligence-tasks-for-crows-and-chimps),這些算法可以用於感知周圍世界。並且我們在人工智能工具的階梯上不斷攀登,這些工具能讓一個智能體探索其周邊環境。

最近這些日子裡爭論最多的問題之一是:高級認知的組成元素有哪些?因果關係是其中之一,還有推理、規劃、想像和信度分配(“想像如果是我,我會怎麼做?”)在經典人工智能中,他們試圖用邏輯和符號得到這些東西。有些人說我們可以用經典人工智能來做,但也許需要一些改進。

然而,有些人(比如我)認為我們應該用過去幾年建造的工具來創造這些功能,使智能體能夠像人類一樣具備推理能力,這樣的能力和純粹依賴基於搜索的邏輯系統而得到的能力是很不一樣的。

受大腦啟發計算方式的曙光

Spectrum:我們怎樣才能構造出和人類推理相似的功能?

Bengio:注意力模型讓我們了解到瞭如何把我們的計算聚焦在少數幾項元素上,即一小組計算步驟的集合。人類就是這樣做的——這是意識處理中相當重要的一部分。當你意識到某些事情時,你就會聚焦在少數幾項元素上,這些元素也許是某種想法,當你這個想法想得差不多了,你的大腦才會繼續轉移到另一個想法上。這和標準的神經網絡方法很不一樣,標準的神經網絡是在大規模數據集上做並行處理。多虧了注意力模型,我們才能在計算機視覺、翻譯和記憶方面取得很多重大突破,但我相信這只是對受大腦運轉模式啟發而產生的計算方式研究的一個開端。

這並不是說我們已經解決了這個問題,但是我認為我們已經有了開始解決問題的許多工具。我不是說這很容易。我在2017年寫了一篇論文《先驗意識》(The Consciousness Prior,https://arxiv.org/abs/1709.08568),闡述了這個問題,我有幾個學生也在做這個方向,我知道這需要長期的努力才能取得成果。

Spectrum:人類智慧還有哪些方面是你想複製到AI中的?

Bengio:我們還討論了神經網絡想像的能力:推理、記憶和想像是在你頭腦中發生的同一件事情的三個方面。你把你自己投射到過去或者未來,當你沿著這些投射點前進時,你就是在做推理。如果你預料到未來將有不好的事情發生,你就會改變方向——這就是你做計劃的方式。你也會使用記憶,因為你會回憶起熟知的過去,基於此做出自己的判斷。你從當前時刻以及過去的歷史中選擇相關事項。

注意力是這裡構建基礎模塊的關鍵部分。比如說,我正在給一本書做翻譯。對於每個單詞,我都必須仔細查看書中的一小部分。注意力能夠讓你從書中剔除出不相關的部分,而只聚焦在真正重要的部分上。能夠挑選出相關的元素——這正是注意力機制在起作用。

Spectrum:注意力機制是怎樣通過機器學習學到的?

Bengio:你不用告訴神經網絡哪些地方是需要關注的——這就是神經網絡美妙的地方。神經網絡會自己學習。在一組可能需要關注的元素裡,神經網絡能學會需要給其中每個元素分配多大程度的注意力(或者稱為註意力權重)。

學會如何學習

Spectrum:你最近關於因果關係的研究與這些觀點是怎樣聯繫起來的?

Bengio:人們所推理的高層次概念往往是因果關係的一些變量。你並不是基於像素來推理的。你是基於像“門”或者“把手”,像“打開”或者“關閉”這樣的概念來推理的。因果關係對機器學習接下來的發展至關重要。

這會關聯到另一個話題,在深度學習中,人們經常思考這個話題。人們具有系統性的泛化能力,這種能力可以讓人們從已知的概念出發進行拓展,這樣這些概念就能以新的的方式進行組合,組合出的新概念可能是人們以前從沒見到過的。當今的機器學習就不知道如何做到這點。所以你在某個特定的數據集上訓練時就會經常遇到這樣的問題。比如說,你在一個國家的數據集上進行訓練,訓練的結果被部署到另一個國家,此​​時你就需要泛化和轉移學習方法。那你怎樣才能訓練出一個神經網絡模型,使得當這個模型用於一個新的環境時,它可以繼續展現出較好的性能或者說能快速適應新的環境。

Spectrum:實現這種適應能力的關鍵是什麼?

Bengio:元學習(https://arxiv.org/pdf/1905.03030.pdf)是最近非常火的一個話題,即學習如何學習。我早在1991年就寫了一篇論文(http://bengio.abracadoudou.com/publications/pdf/bengio_1991_ijcnn.pdf),但直到最近我們才具備了實現這種能力的算力,因為它非常耗費計算資源。這裡的想法是這樣的:為了實現對新環境的泛化能力,你需要不斷練習在新環境中的泛化能力。你想想,其實很簡單。孩子們一直在做這樣的事情,當他們從一個房間進入另一個房間時,環境不是靜態不變的,環境始終在變化。孩子們訓練著他們自己,使他們自己擅長適應環境。為了高效地適應環境,他們必須利用以往獲得的知識。我們已經開始理解這種能力了,並且開始建造工具來複製這種能力。

對深度學習的一個批評是:它需要大量的數據來學習。如果你只是在一個任務上進行訓練,這確實是這樣。但是孩子們基於很少量的數據就能夠展開學習過程,因為他們能利用以前學到的東西,更重要的是,他們能利用適應和泛化的能力。

“工業界還沒有準備好”

Spectrum:這些想法能夠馬上在真實世界中使用嗎?

Bengio:還不行。比起真實世界的問題,現在的基礎研究指向的問題簡直就是小巫見大巫。不過沒關係,這就是我們現在所處的狀態。我們可以探索這些想法,繼續做出新的假設,但這不並是明天早上就可以用於工業界的。

不過,對於工業界所關心的目前深度學習的兩個切實的局限性,這樣的研究是可以幫上忙的。其中一個局限性是:希望建造對環境變換更健壯的系統。第二個局限性是:我們怎樣才能建造出自然語言處理系統、對話系統和虛擬助手?目前使用了深度學習的最先進系統都是有問題的,問題就在於這些系統需要使用大量的數據來進行訓練,而且這些系統根本不懂什麼是語言。像Gray Marcus這樣的人會說:“這就是深度學習不管用的一個例證。”而像我這樣的人會說“有意思,讓我們來迎接挑戰吧。”

物理、語言和常識

Spectrum:聊天機器人怎樣才能做得更好?

Bengio:最近,有一種被稱為“grounded language learning”(接地氣的語言學習)的想法引起了人們的注意。這裡的想法是,一個AI系統不應該僅僅是從文字上學習,它應該同時學習這個世界是如何運轉的,以及怎樣用語言描述這個世界。你可以問下自己:如果孩子們僅僅通過文字來和世界交互,那他們能夠理解這個世界嗎?我猜測他們如果真那樣做的話,日子就會過得很艱難。

這與有意識和無意識的知識有關 ,這是我們知道但是說不出名字的東西。一個不錯的例子是直覺物理學。一個兩歲小孩就理解直覺物理學。他們不知道牛頓方程式,但是,他們理解像重力這樣具體場景下的概念。一些人正嘗試建造可以與他們的環境互相作用的系統,並發現基本的物理學定律。

Spectrum:為什麼掌握一些基本的物理知識對交談有幫助呢?

Bengio:語言交談的問題通常在於這個系統其實並不理解這個世界的複雜性。例如,在Winograd範式(https://en.wikipedia.org/wiki/Winograd_Schema_Challenge)中使用的語句;為了合理正確地使用這些語句,你必須掌握一些物理知識。比如像這樣的句子:”Jim想把燈放進他的行李箱,但是它太大了。”你知道如果一個物件因為太大而未能放入行李箱,那上面句子第二句話的主語就一定得使用“it”(“它”)了。 ”你可以用語言來傳達這種知識,但是這種知識不是我們到處說的那種具象性知識,比如:“這個行李箱的通常大小是x長x寬。 ”

我們需要係統在理解語言的同時還能理解這個世界。目前,AI研究人員正在尋找捷徑,但目前的研究還不充分,AI系統需要能夠生成關於這個世界如何運轉的模型。

原文鏈接
https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/yoshua-bengio-revered-architect-of-ai-has-some-ideas-about-what-to-build-next