Categories
程式開發

AI開源的硬核戰場:領軍者百度如何亮劍?


AI 開源的黃金時代已來,百度的開源理想要實現了嗎? 《西部世界》中的 AI 機器人引發了人們對於 AI 技術的惶恐——因為它描繪出了一個機器人擁有意識和意志的世界。埃隆·馬斯克不止一次在公開場合重申了他對超級 AI 潛在崛起的擔憂。他說:“請記住我的話,AI 比核武器危險得多。”

核武器沒有開源,而 AI 開源的戰場卻硝煙瀰漫。

近幾年來,全球科技巨頭不約而同地在做同一件事:將旗下的 AI 項目開源,與全世界的開發者共享。對這些 AI 科技巨頭而言,為什麼要開源其最先進的技術呢?

今天我們來聊聊 AI 與開源的故事。

AI 開源是科技公司的價值名片

AI 的火熱,得益於大批成功的開源深度學習框架的不斷湧現。

2015 年,谷歌推出深度學習框架TensorFlow,它是在DistBelief 的基礎上研發的第二代人工智能學習系統,目前已發展為最受歡迎的深度學習框架之一,被廣泛地應用於語音識別或圖像識別等多項機器學習和深度學習等領域。

在谷歌開源 TensorFlow 一年以後,百度宣布開源其深度學習平台飛槳(英文名 PaddlePaddle)。飛槳發展到現在,已經具備了開發便捷的核心框架、支持超大規模深度學習模型訓練、多端多平台部署的高性能推理引擎和產業級開源模型庫等領先技術。飛槳是中國首個也是目前國內唯一開源開放、功能完備的產業級深度學習平台,正是因為它的出現,百度成為繼 Facebook、谷歌和 IBM 之後世界上又一個開源深度學習框架的科技公司。

從傳統觀念來看,開源深度學習框架的決定很奇怪。許多科技公司對於自己的產品、技術一直是保密的,核心算法更是秘而不宣。為什麼要開源深度學習框架?

  1. 首先看市場需求。 AI 具有較高的技術門檻,對於多數中小企業難以長期自主研發。而在產業互聯網的浪潮下,誰能率先擁抱 AI ,誰就能在未來發展的不確定性中贏得更多主動權。所以藉助成熟的、開源的深度學習框架是很多公司的首選。
  2. 其次,對於開源的公司而言,這是一次絕佳的展示機會。將深度學習框架開源,嵌入到其他公司的產品中去,以便更好地擴大巨頭的領域。以 TensorFlow 為例,當一個用戶在使用它的數據庫時,能更加順暢地連接谷歌的雲服務。也就是說,在使用這個免費的工具時,用戶會很自然地被引導到需要付費的服務。

這就是為什麼處於技術前沿的公司要公開自己的重要技術,這既是對人工智能領域的資源爭奪,也是提升自己在行業內話語權的絕佳機會。

飛槳開源,誠意更大

開源是一張王牌,可以讓企業走近價值鏈的中心。

IDC 發布的2019 年下半年《深度學習框架和平台市場份額》報告顯示,在深度學習平台市場,谷歌、Facebook、百度三強鼎立態勢穩固,已佔據接近80% 的市場份額,其中百度的市場份額在過去半年裡增長迅猛,佔比提升5.98 個百分點。 AWS、微軟等國外平台的份額下滑明顯。

AI開源的硬核戰場:領軍者百度如何亮劍? 1

GoogleFacebook百度伯克利大學(Caffe)阿里騰訊AWS華為微軟其他能在激烈的市場競爭中保持穩步增長,與百度多年來深耕 AI 關係密切。百度的血液裡有兩個詞非常關鍵:一個是搜索,2010 年以前百度靠搜索技術打下江山;另一個就是 AI,從 2010 年以後,AI 成為百度最鮮明的競爭力。在AI 領域,百度做了兩件非常牛的事,一是開源了深度學習平台飛槳,它是中國首個、也是當前國內唯一開源開放的深度學習平台;另一件是開源了自動駕駛平台Apollo。前者讓百度在國外巨頭壟斷的深度學習平台的市場份額裡硬是撕出了一道口子;後者則奠定了百度在全球自動駕駛生態裡的核心地位。百度其實一直走在深度學習研究和應用的前沿,對於深度學習而言,百度在一開始就把握住了機遇。早在 2012 年百度就將深度學習 DNN 模型成功應用到語音識別、OCR 等任務中。隨後在 2013 年,百度成立了深度學習研究院(IDL)。自此,百度全面進入深度學習階段,在深度學習的框架開發、平台建設以及應用創新方面都走在行業前列,在企業內的應用具有很高的實用性、很大的規模化特色。百度為什麼要開源深度學習平台飛槳?對於深度學習框架的價值,百度首席技術官(CTO)王海峰曾經如此表示:“在智能時代,深度學習框架起到了承上啟下的作用,下接芯片,上承各種業務模型、行業應用。”

國內絕大多數企業,基本是依賴國外框架,並不掌握最核心的技術。他們通常是基於 TensorFlow、PyTorch 之類的國外框架和模型進行訓練,然後再進行部署,加上邊緣的工具等,就可以直接使用(例如 XDL,其後台實際上就是 TensorFlow)。因此,雖然國內有一些企業聲稱自己有深度學習框架,但很少有企業敢於將深度學習框架開源。

百度為什麼敢?

一位親歷百度開源的工程師曾感慨道:“到目前為止,我仍然堅定的認為,百度是中國最適合做技術的公司。”百度飛槳的開發,是一行一行的代碼敲出來的,具有完全自主知識產權。獨立研發一個深度學習平台,需要深厚的深度學習專業功底、極強的軟件開發經驗和大量的時間,和獨立寫出一個操作系統的難度相差無幾,而百度將飛槳百萬行代碼整體開源,足可見其對技術的自信和對開源的誠意。截至目前,全球範圍內做得比較成功的深度學習框架,也只有谷歌、Facebook 和百度。

當然,TensorFlow 和飛槳也有很大的不同。

飛槳的核心框架採用基於編程邏輯的組網範式,對於普通開發者而言更容易上手,符合他們的開發習慣。同時,飛槳支持聲明式和命令式編程,兼具開發的靈活性和高性能,網絡結構自動設計,模型效果超越人類專家。

飛槳突破了超大規模深度學習模型訓練技術,實現了世界上首個支持千億特徵、萬億參數、數百節點的開源大規模訓練平台。據了解,TensorFlow 只支持千億級規模的模型參數訓練,是飛槳的十分之一。

飛槳不僅兼容其他開源框架訓練的模型,還可以輕鬆地部署到不同架構的平台設備上。同時,飛槳的推理速度也是全面領先的。比如,在質檢線上,一個零件停留的時間可能只有數十毫秒,因此,速度快就有更大的優勢。飛槳適配的國產硬件(華為、寒武紀等)更多,同樣都是跑在華為麒麟芯片上,飛槳的速度會比 TensorFlow 更快。在與北京大恒圖像視覺有限公司的合作中,使用百度飛槳分割庫 PaddleSeg,可在收集數據後快速地完成模型訓練和部署,結合傳統算法對隔膜生產中的缺陷進行實時的檢測和分類。

PaddleSeg 集成了豐富的數據增廣方法和最新的網絡模型,使用方便、功能強大。訓練出來的模型有良好的泛化能力,能檢測出不同工藝和不同亮度的圖像的缺陷 20 餘種,分類精度達到 0.98,預測速度 0.12ms/img,分割模型 iou0.82。安裝調試時間也縮短到 2 週,質檢設備的通用及易用性都得到了較大的提高。

AI開源的硬核戰場:領軍者百度如何亮劍? 2

百度飛槳已累計服務了 150 多萬開發者,這一數字約佔中國軟件平均從業人數的 1/4。此外,其定制化訓練平台上企業用戶超過 6.5 萬,發布了 16.9 萬個模型,2019 年第二季度百度飛槳深度學習平台開發者下載量環比增加 45%。

雖然當下飛槳的生態規模和國外框架想比還有一些差距。但對於國內的開發者而言,深度學習平台飛槳的開源,提供了一個跟國際潮流技術比肩的選擇。

Apollo 在自動駕駛生態的特別地位

百度除了開源深度學習平台飛槳之外,在應用層面還開源了自動駕駛平台 Apollo。

百度自動駕駛研發項目啟​​動於2013 年,早年技術核心是“百度汽車大腦”,包括高精度地圖、定位、感知、智能決策與控制四大模塊;2014 年,正式啟動“百度無人駕駛汽車”研發計劃,一年後,成立自動駕駛事業部成立,大規模投入研發。

2017 年7 月,百度Apollo 發布1.0 版本並正式對外開源,歷時兩年零五個月後,Apollo 5.5 版本發布,重點便是開放了“點到點城市自動駕駛”能力,以及面向量產落地自動駕駛場景的解決方案。

與以往版本比,Apollo 5.5 增加了三項新能力,分別是:

語義地圖深度學習方法。該方法是將高精地圖加上交通規則、車輛信息等語義,然後生成圖片,用深度學習的 CNN 網絡進行學習,從而應用於包括感知、預測在內的多個模塊中。

Apollo 還對規划算法進行了更新。通過靈活的換道策略、智能的路權處理以及優化的速度決策幾個方面的提升,提高問題的可求解性。

Apollo 5.5 引入最新的、基於非線性速度規劃的數學表述,在優化器和優化器求解上做了大量的改進,保證在有限時間內也可以求出最優解。

在 CVPR(全球計算機視覺及模式識別領域頂級學術會議)2019 會議期間,百度 Apollo 公開了國內唯一的自動駕駛純視覺城市道路閉環解決方案——百度 Apollo Lite。據悉,這是一套自動駕駛純視覺城市道路閉環解決方案,能夠支持對10 路攝像頭、200 幀/ 秒數據量的並行處理,單視覺鏈路最高丟幀率能夠控制在5‰ 以下,實現全方位360° 實時環境感知,前向障礙物的穩定檢測視距達到240 米。

前不久,知名投資諮詢公司廣證恆生髮布了《自動駕駛專題研究之企業評估指標體系——立體分析企業核心競爭力》,對國內外數家自動駕駛公司進行排名分析,百度以 3.6 分的綜合評分位居世界第一谷歌旗下的自動駕駛企業 Waymo 以 0.2 分之差緊隨其後。

AI開源的硬核戰場:領軍者百度如何亮劍? 3

Apollo 平台是百度自動駕駛的技術基石。自發布至今,Apollo 平台共進行了 8 次迭代,分別是 1.0、1.5、2.0、2.5、3.0、3.5、5.0、5.5。以最新的Apollo 5.5 為例,不僅在開放數據的基礎上新增了幫助自動駕駛車輛快速學習交通規則,理解路面環境的語義地圖深度學習方法,還為開發者開放了一個“技能庫”,提供傳感器標定和深度學習模型訓練的服務,進一步提升開發效率。

截至目前,百度 L4 級別自動駕駛城市道路測試里程已經突破 300 萬公里,已經在 23 個城市進行測試,智能汽車專利 1237 項,位列全國第一。

AI開源的硬核戰場:領軍者百度如何亮劍? 4

百度測試車隊行駛在長沙的街道上

在保定,百度智能交通信控系統幫助保定交通延誤時間減少 20%~30%。而在長沙“兩個 100 公里”項目建設中,百度 Apollo 參與 135 公里車路協同道路改造。據悉,該項目建成後可直接支持進一步開展 Robotaxi 業務,從而加速推進自動駕駛規模化、商業化的落地進程。

此外,百度與重慶達成戰略合作,圍繞自動駕駛、智能城市、智能政務、區塊鍊等多層面達成合作。 2019 年9 月12 日,百度Apollo 來到“渤海之濱”獅城,與滄州市人民政府正式簽署戰略合作框架協議,雙方將自動駕駛、智能交通、電子政務等多個方面展開全面合作,共同打造“智能滄州”。

除了 Apollo 自動駕駛平台,百度還在車聯網和車路協同領域不斷推出新產品。據了解,2019 年,百度 Apollo 在全球 97 個國家擁有 3.6 萬名開發者,是 2018 年的 2.4 倍。Apollo 目前共擁有 177 位生態合作夥伴,擁有 56 萬行開源代碼。Apollo 自動駕駛平台已成為全球最強大、最開放、最活躍的自動駕駛平台。

百度在 AI 和開源上的投入,有目共睹。

將 AI 開源進行到底

據了解,谷歌開源 TensorFlow 的想法最初是由是其首席架構師 Jeff Dean 提出的,他認為常規的科學發展緩慢,阻礙了公司的創新。開源 TensorFlow 能夠加快研究人員與科學界的實時協作。谷歌之外的人才也能改善源代碼,通過更廣泛地分享機器學習技術,還能為該領域培養更加專業的人才。

“我們決定開源後,代碼運行更快了,可以做更多的事情,也更加便捷。”TensorFlow 團隊負責人 Rajat Monga 說。

百度 CTO 王海峰也曾在多個場合提出開源開放對人工智能時代的重要價值。他認為,一方面,人工智能技術的發展和突破需要所有人齊心協力、共同推動,因此開源、開放就尤為重要;另一方面,人工智能技術會賦能各行各業,開源、開放讓各行各業可以便捷地使用人工智能,讓社會各界都受益。

在百度,很多人對開源文化頗有感觸。一位百度開源負責人曾在一篇文章中寫道,他所在的工程效率部門, 2017 年至今都在整體組織和推進百度開源的工作,包括引入開源、內部開源和對外開源。而他也看到,在開源世界裡面,中國公司和中國人不再僅僅是以索取者的身份出現,領先企業華為、阿里巴巴、百度、騰訊等在開源界的聲音也越來越大,投入和實際貢獻也越來越多。對開源的玩法越來越熟悉,玩得也越來越溜,在遵守社區規則、理解社區精神的前提下,慢慢走上了前台和中心。 “這是非常令人欣喜的變化。”

除了以上提到的飛槳和Apollo 的開源,百度還有很多非常有代表性的開源項目,比如2019 年春晚紅包中扛住超大用戶壓力、數次流量波峰的轉發引擎——百度的統一七層流量轉發平台BFE、中國首個開源的邊緣計算框架BAETYL 等等。

此外,除了將重磅技術開源外,各大巨頭也通過收購的方式加緊自己的開源生態建設。 2018 年10 月,微軟以75 億美元的價格收購GitHub,這個舉措被認為是微軟擁抱開源與佈局企業市場的關鍵;2019 年7 月,IBM 宣布以340 億美元的價格收購紅帽(Red Hat) ,紅帽將成為IBM 混合雲部門的一部分。國內對開源生態也表現出前所未有的重視。騰訊收購 Codig.net,推出騰訊雲開發者平台;阿里巴巴收購 Teambition,支持開發者團隊溝通協作。

2019 年 12 月 6 日,開源中國獲得百度最新戰略投資。百度除了把飛槳入駐到 Gitee 之外,其他百度系優秀的開源產品也將陸續入駐。

開源生態之爭,寸土寸金。雲 + AI 的行業背景之下,對於開發者生態的重視,讓開源事業迎來了春天。開源社區和代碼託管平台是科技公司與開發者建立聯繫的關鍵點,自然成為了必爭之地。 “一流企業定標準,二流企業做品牌,三流企業做產品”,想要在未來競爭的商業市場裡佔據話語權,就需要加快產品的研發和迭代速度,讓產品被更多人喜歡和使用,並積極地參與開源組織和標準的製定。

寫在最後

當下,越來越多的企業開始意識到開源的重要性,中國的互聯網企業也需要像百度一樣,給開發者足夠信任的時間和空間去做開源項目、維護開源項目,畢竟在開發者數量佔絕對優勢的背景下,我們需要讓世界看到中國的開源力量。

百度篤信於此,並時刻做好“領路人”的準備。