Categories
程式開發

蘋果自動駕駛新進展:訓練AI在模擬環境中學習改變車道


一波三折,“泰坦計劃”很艱難

蘋果的自動駕駛項目絕對可以說是一波三折。

這個名為“泰坦(Project Titan)”的自動駕駛計劃誕生於2014年,但是很長一段時間裡都沒有什麼太大的動靜。 2018年,讓這個項目的進展曝光的竟然是一起洩密事件,而相關文件顯示,當時蘋果自動駕駛項目擁有超過5000名員工,其中約2700人為核心員工。

到了2019年1月,“泰坦計劃”又被傳出裁員的消息,有200餘名員工在此次事件中被裁;一個月後,蘋果自動駕駛汽車的安全報告又被指出“過於簡單”,內容僅有短短的7頁,而安全相關的重點內容則更是少之又少。

基本上可以說,蘋果自動駕駛項目成立以來,只要出現在新聞頁面上,基本都不是什麼好消息。

到了2019年的下半年,“泰坦計劃”終於有了還算不錯的消息傳來:6月,蘋果正式收購了AI大咖吳恩達及其妻子共同創立的“夫妻店”——Drive.ai,為自己的自動駕駛項目注入新鮮活力。

隨後,又是一段漫長的沉寂期,蘋果自動駕駛的進展就這樣再次消失在了公眾的視野裡,直到2020年1月,新的進展出現了。

“泰坦”新進展:模擬環境裡訓練AI

當地時間1月29日,有媒體發現:蘋果在Arxiv.org上發表了一篇論文,論文指出,蘋果科學家Yichuan Charlie Tang及其團隊正在使用一種方法,模擬車輛並道的駕駛場景,並逐步創建更加多樣化的模擬環境。

Tang及其合著者寫道:

“我們在具有挑戰性的多智能體變道模擬中演示了這項技術。在該模擬環境中,實驗目標必須與其他車輛進行交互和協商才能成功地在道路上進行合併。雖然環境從簡單路況開始,但隨著訓練的深入,我們通過向智能體'zoo'反复添加越來越多樣化的因素來增加其複雜性。定性地說,我們發現通過自我訓練,實驗目標會自動學習有趣的行為,例如防禦性駕駛、超車、讓道以及使用信號燈與其他智能體交流。”

蘋果自動駕駛新進展:訓練AI在模擬環境中學習改變車道 1

變道模擬示意圖

正如研究人員所解釋的那樣,在自動駕駛領域,變道行為被認為是複雜的操作,因為這需要駕駛系統準確地預測意圖並做出相應的反應。傳統的解決方案會做出假設並依賴於手動編碼的行為,但是這些靈活度受限且脆弱的策略無法很好地處理邊緣情況,例如幾輛車試圖同時合併到同一車道。與基於規則的系統相比,強化學習通過與環境的反復交互來直接學習策略。

蘋果自動駕駛新進展:訓練AI在模擬環境中學習改變車道 2

在相關研究中,Tang及其團隊在通過模擬衛星圖像標註實際道路幾何形狀的交通的二維模擬中實施了一項自演訓練方案。他們在模擬系統中放置能夠跟踪車道和變道的智能體,這些智能體隨著時間的推移學會了何時減速、何時加速、何時發現差距併入,以及如何通過轉向信號或其他可觀察的行為傳達其變道的意圖。

每個模擬都是由一個人工智能控制的智能體開始的,它被基於規則的程序包圍,這些智能體使用自適應巡航控制來執行車道保持,能夠相對於前面的車輛,相應地減速或加速。隨著訓練的進行,AI智能體逐漸取代了基於規則的智能體,基於規則的智能體則會受到越界、偏離車道中心或與其他智能體碰撞的懲罰,而獲得獎勵的條件是成功完成了一次合併,並以最高每秒15米,約合每小時33.6英里的速度行駛。

每一輪模擬都在32個在Nvidia Titan X顯卡上並行運行,大約有10個智能體隨機開往它們自己的目的地,而實驗的結束則在碰撞發生後,或在到達目的地後。

整個模擬是一個三個階段的過程:

  • 在第一階段,所有智能體僅在基於規則的條件下進行訓練;
  • 在第二階段,有30%的智能體繼續基於規則訓練,30%基於第一階段訓練後自由駕駛,而其他40%則受當前學習策略的控制;
  • 第三階段則將所有智能體添加到階段二中。

研究人員特別關注雙重並道,因為左車道駕駛員通常打算向右合併,而右車道駕駛員則需要向左合併,信號和微妙的線索被用來協商誰先走,哪個空白被填補,並且計劃必須在短時間、短距離內完成。

研究人員觀察到,在相當於278個小時駕駛的1000萬個環境訓練中,AI智能體傾向於利用基於規則的行為來獲益。例如,具有剎車傾向的基於規則的智能體經常受制於駕駛風格激進的AI智能體。

為了評估他們的方法,研究人員進行了250多次隨機試驗,且沒有增加測試噪音。報告顯示,與基於規則的智能體(成功率為63%)相比,訓練有素的AI智能體在與其他AI智能體的競爭中獲得了98%的成功率。當然,現有的算法並不完美,AI智能體有時在嘗試剎車時也會發生碰撞,並在緊急制動時向右側轉向,但是Tang和同事說,這為將來的工作打開了大門,甚至可能會將碰撞率降低到零。

結 語

雖然還在模擬環境中測試,但是蘋果自動駕駛總算是展示了一些像樣的進展,而基於模擬環境的自動駕駛訓練也是目前該領域的熱門,蘋果的“泰坦計劃”在未來會一鳴驚人還是依舊保持沉默,InfoQ將持續關注。