Categories
程式開發

破解AI數據困境:聯邦學習在平安科技的大規模實踐


在人工智能領域深耕十幾年,王健宗的工作重心一直在分佈式人工智能和自動化機器學習方向上,聯邦學習是他多年來一直在做和想做的事。在2015年加入平安科技沒多久,他就開始帶領團隊做聯邦學習的研發,到今天已經進入第五個年頭。在這期間,平安科技開發了面向金融行業的商用聯邦學習平台“蜂巢”,也開始將聯邦學習應用在部分金融業務場景中。近期,InfoQ有幸對平安科技副總工程師、聯邦學習技術部總經理王健宗博士進行了獨家採訪,試圖了解平安科技在金融領域應用聯邦學習的實踐過程和遇到的挑戰。

如何理解聯邦學習和聯邦智能?

近些年,人工智能技術取得了一系列突破,但是這些突破本質上還是建立在龐大的數據學習之上,如果沒有數據,人工智能技術就是個“空架子”。有人因此得出結論:擁有數據的公司才擁有未來,數據成本很可能成為限制未來人工智能發展的重要因素。事實上,大家都想做人工智能,但有的公司求數據無門,有的公司雖然有數據卻因為數據保護的限制無法使用,如何在降低數據獲取成本的同時保護用戶隱私?聯邦學習應運而生。

過去兩年,聯邦學習發展迅速,開始從前沿探索研究走向實際應用落地。但與此同時,不同企業在聯邦學習的概念和技術細節上仍然存在分歧。光是這項技術的名稱,就有若干叫法,比如UC Berkeley和螞蟻金服使用的名稱是共享學習(Shared Learning),谷歌和微眾銀行用的是Federated Learning,但谷歌將其翻譯為聯盟學習,微眾使用的則是聯邦學習,這也是國內從業者更為熟悉的叫法。

雖然名稱叫法不一,實現細節也各有不同,但它們的關鍵內核是相通的:核心需求都是為了解決“數據孤島”問題以及在保障數據隱私和安​​全的前提下實現人工智能,這些是傳統數據共享技術難以做到的。

聯邦學習技術本質上是一種加密的分佈式機器學習技術,允許多個參與方在不披露底層數據和底層數據加密形態的前提下共建模型,使跨企業、跨數據、跨領域的大數據AI生態建設成為可能。聯邦學習適合以下任務:

  • 訓練數據涉及隱私、敏感信息
  • 訓練數據太大,無法集中收集
  • B端和C端有個性化的人工智能需求

在2016年谷歌正式提出聯邦學習的概念之前,王健宗就已經在平安科技帶領團隊做這方面的工作。谷歌一開始的初衷是用聯邦學習解決安卓手機終端用戶在本地更新模型的問題,其設計目標是保障大數據交換時的信息安全、保護終端數據和個人數據隱私。 2019年中,王健宗進一步拓展聯邦學習的外延,提出了“聯邦智能”。聯邦學習技術需要相當多的配套資源才能真正為業務服務,王健宗對此做了一個比喻:“聯邦學習之於聯邦智能,猶如深度學習之於人工智能。”他認為,要真正實現保護用戶隱私數據需要一個完整的系統協作,聯邦學習只是其中一個技術環節,還需要很多相關係統配合,比如安全通信、層級加密、可信計算、可視化等。他將這個完整系統稱為聯邦智能,可以跨行業應用在B和C兩端,其中不只聯邦學習,還包括聯邦社區、聯邦推理、聯邦激勵機制、聯邦數據群落、聯邦檢索等多個模塊。

平安科技的聯邦學習實踐

為什麼金融領域尤其需要聯邦學習?

在王健宗看來,聯邦學習不僅僅是人工智能技術的一種新實現方式,而且是一種面向隱私保護的機器學習新範式。因此,傳統人工智能技術可以解決的問題都可以用聯邦學習實現,在金融的各個細分領域裡,聯邦學習都可以發揮重要作用,比如授信系統、風控系統、獲客系統等。此外,還有一類問題是聯邦學習可以解決、但傳統人工智能無法解決的,那就是“數據孤島”問題。

所謂“數據孤島”,指的是分散的孤立數據,比如說部分數據在銀行、部分數據在保險,兩者不能共享數據,傳統的人工智能技術無法處理這種情況,當前還有相當大一部分數據處在這樣孤島中,成為“沉默的大多數”,目前也只有通過聯邦學習才能發揮它們的價值。

金融領域是一個受國家和有關部門強監管的行業,金融數據更是有著天然的隱私性和孤立性,因此成為了“數據孤島“問題的重災區。不同金融機構只擁有用戶的部分信息,但受制於法律法規和數據隱私保護,根本無法整合孤立數據做聯合訓練。唯有借助聯邦學習,才可能做到在用戶不對外共享數據的同時,完成聯合訓練學習。王健宗認為,隨著社會對隱私保護越發重視,以及法律法規對數據使用的限制更加嚴格,聯邦學習一定會成為金融等領域必不可少的“利器”。

平安集團旗下子公司眾多,其中金融類別的子公司更是佔大頭,如平安銀行、平安壽險、平安產險、平安證券等,如何運用大數據和人工智能手段做好用戶數據隱私的保護工作,對平安集團來說必要性和重要性都十分突出。因此,平安科技就已經展開相關技術的研究工作了。

“蜂巢”聯邦學習平台

“蜂巢”平台是由平安科技自主研發的聯邦學習平台,據介紹,這也是業內首個面向金融行業的商用聯邦學習平台。

破解AI數據困境:聯邦學習在平安科技的大規模實踐 1

圖1:聯邦學習“蜂巢”平台架構圖

如圖1所示,“蜂巢”平台是一個完整的聯邦智能係統,包括以下4個功能層級:“蜂巢“數據層、“蜂巢“聯邦層、“蜂巢“算法層以及“蜂巢“優化層。

王健宗從數據流動的角度向我們介紹了這4個層級之間是如何相互協作的:首先“蜂巢“數據層會根據實際的業務需要和法律法規的要求需要提取數據結構,比如用戶的數據文件是什麼格式、是離散型的數據還是連續型的數據,但平台不會觸碰數據本身,嚴格保證用戶數據只由用戶自己所有,在這個環節“蜂巢“平台會按照客戶(企業、個人、政府)的具體需求和本地數據結構定制相應的數據梳理和模型建立方案;接下來“蜂巢“平台會根據之前製定的方案,進行數據和模型規範化處理工作,這部分主要由“蜂巢“聯邦層負責;再然後就是“蜂巢“算法層和“蜂巢“優化層,結合規範化的數據結構和模型進行聯邦聯合學習,最終得到可用的聯邦模型。在整個過程中,全部過程數據會嚴格保留在用戶本地,只有用戶自己所有,其他任何人包括“蜂巢“平臺本身都無法觸碰,而且所有涉及到數據的部分全都會應用相應的數據隱私技術做嚴格保護。

在完整的聯邦系統之下,平安科技進一步結合自身的技術積累和應用場景,為用戶提供個性化的聯邦解決方案,比如使用平安科技的“奧卡姆“自動化機器學習技術提升用戶聯邦學習的效率等。

此外,平安集團擁有完整的金融牌照,“蜂巢”平台針對金融領域又做了大量的定向優化工作,比如風險控制和金融安全測試等,這些工作都基於平安在金融科技領域一點一滴積累起來的實際業務經驗,其他公司在短時間內可能很難做到同樣的程度。

未來,“蜂巢”平台還計劃實現更多功能,包括:提供基於聯邦學習的醫療影像數據平台、擴接融合用戶特徵與個性推薦系統和動態車險定價模型系統等。

實際應用情況

據了解,聯邦學習目前已經大量用於平安集團的各項金融業務場景中。王健宗分享了一個實際案例:借助聯邦學習,在不共享數據的前提下,完成了傳統人工智能技術無法實現的多機構聯合訓練模型系統。

一直以來,證券和保險的業務數據彼此獨立、互不共享,證券不知道客戶的保險信息,保險機構也不清楚客戶購買了哪些證券產品。雖然兩家機構都基於自己擁有的數據盡可能為客戶提供精準的服務或者風險預警,但從全局來看數據依然是不完整的,所以在一些情況下,站在兩個機構的角度,不能很好地完成一些額外功能。比如,假如我們有“上帝視角”,我們知道一個人的證券賠得非常厲害,那同等情況下,這個人的保險可能就比其他人存在較高的賠付風險,這時從保險機構的角度出發,提高保額可能就是比較好的方案,這樣的例子在金融行業數不勝數。

在聯邦學習出現之前,傳統的人工智能技術根本無法完成這個目標。用戶的數據分別受到兩家結構和法律法規的嚴格保護,不可能共享得到一個完整的模型系統。但是現在藉助於聯邦學習,既可以保護用戶數據始終保留在各機構本身,又可以進行完整的模型訓練,一舉兩得。

聯邦學習大規模落地難,難在哪?

雖然我們已經可以看到聯邦學習在一些實際業務場景中有了應用,但只能算是剛剛開始,這項技術目前還遠遠沒有進入大規模落地的階段,這樣意味著存在大量的機會和挑戰。

著眼於聯邦學習自身,王健宗將其研究和應用的核心難點歸納為以下三個方面:

第一個是如何在保證數據隱私安全的前提下,盡可能提升聯邦學習系統的效率。比如,目前聯邦學習系統嚴格保護用戶本地數據不外洩,只傳輸模型更新,而且即使是是模型更新,也會經過嚴格的加密後再傳輸,對於更複雜的加密系統,就意味著信息回傳也需要更多的資源和時間去解密。目前的做法是在數據保護和系統效率之間取一個平衡,但是從長遠的角度看,隨著攻擊手段的升級和法律法規的完善,數據保護一定會越來越嚴格,因此必須要從系統層面將兩者的對立給剝離開,既要保護數據隱私安全,也要盡可能提升聯邦學習系統的效率。這是一件非常有挑戰的事情。

第二個難點同樣是系統設計方面的問題,聯邦學習系統需要多方協作,現實中必然存在多方計算能力和資源分配不均的情況,如何將這種資源差異性考慮在內,制定靈活的資源分配機制,以及如何根據這種差異設計相應的激勵機制,這一問題的解決不僅需要從技術層面考慮,還要從市場資源的角度綜合考慮。

第三個難點是技術層面的完善,主要集中在底層技術原理的改進。還是以聯邦學習傳輸的模型更新為例,除了同態加密,還會加入差分隱私,這些都是非常重要的隱私技術,但是這些隱私技術可能會對機器學習模型最終準確度造成一定的影響。從目前的研究看來,有好的影響,比如防止過擬合;也有壞的影響,比如給模型增加的偏置(bias)犧牲了準確性。這方面的研究目前還不夠多,而且涉及眾多不同的聯邦學習算法,可能採取的方案也不同。這一點也是聯邦學習不斷發展過程中必須要解決的難題。

除此之外,如何解決通信瓶頸,設計更加高效、延時更低的聯邦通信解決方案也是聯邦學習的重要發展方向,減少通信次數和通信量是優化聯邦學習算法的關鍵;同時,聯邦學習理論上可以和更多機器學習領域算法結合,但涉及到通信、加密、編解碼等眾多環節,如何得到高效可用的聯邦算法也是目前的挑戰所在。

除了技術上的挑戰,王健宗坦言,聯邦學習在實踐過程中遇到的問題,大多數也是AI落地的共同痛點。

聯邦學習想要解決的問題十分明確,就是要解決數據孤島問題,這也是它目前最大的落地場景。但是在現實生活中,任何一個技術的大規模推廣應用都需要它能廣泛地解決人類社會的需求。聯邦學習技術作為人工智能技術的重要組成部分,同樣會面臨一個通用的問題——大規模落地。王健宗將落地分為兩種,一個是產品的落地,一個是產業的落地。產品的落地比較簡單,比如用聯邦學習技術設計一個聯合授信系統,這是產品,它只能用在這個小小的授信系統裡;產業的落地,就是要應用聯邦學習創造一個新的產業,對當前的人工智能實現技術昇華,然後在這個產業裡,社會又可以繼續“添磚加瓦”,設計更多人類需要的產品。王健宗表示:“如果人工智能技術做不到大規模的’產業’落地,就沒法從根本上改變這個格局。但是目前看來,產品落地到產業落地還有很長的一段路要走,目前能做的事情可能就是在供給側利用聯邦學習技術開發新的產品,不斷拓展上下游市場。”

這是聯邦學習的困境,又何嘗不是人工智能技術當前面臨的困境。

結束語

目前聯邦學習的研究應用雖然是基於一種基本思路,但企業之間在概念和技術細節上還是有一定分歧,不過王健宗認為這種分歧並不會影響聯邦學習的推廣。

在他看來,任何新技術在發展應用的過程中都會經歷這樣的階段,尤其是底層的概念框架,不可能一開始就固定下來,好比雲計算發展到今天,也經歷了同樣的過程,中途出現過網格計算、框計算、霧計算等不同實現和叫法。

一個新的技術領域,一開始提供的一定先是一個基本思路和發展方向,然後學者和從業人員沿著這個思路和方向不斷在這個領域“添磚加瓦”。王健宗表示:“現有的分歧其實是聯邦學習的不同實現方式,這種概念和技術細節上的分歧最終會在實際的研究和應用中不斷統一融合,最終構成完整的聯邦學習大框架。這就好比不同結構的LSTM網絡,同樣的思路,不同的實現方式。”

技術的推廣本質上得先能解決問題,問題不同,解決的手段也不同,而這些不同的手段從技術角度看可能就成了大家所看到的“分歧”。其實,不同的實現方式反而豐富了聯邦學習的大框架,甚至可能反過來成為技術推廣的助力。

目前,聯邦學習和共享學習的國際標準化工作仍在進行中,標準草案預計會在2020年出台。隨著時間的推移,未來必定還是會出現一種主導性的聯邦學習概念和技術框架,不過這些還是需要在“分歧”的基礎上歸納總結得出。

採訪嘉賓介紹

王健宗,平安科技副總工程師、聯邦學習技術部總經理

中國人工智能開源軟件發展聯盟副理事長,美國佛羅里達大學人工智能博士後,深圳市領軍人才,高級工程師,2019全國新銳十佳程序員,撰寫業內第一本AUTOML著作《深入理解AutoML和AutoDL:構建自動化機器學習與深度學習平台》,另外在業內首倡《聯邦智能》。

本文由InfoQ粵港澳大灣區內容中心採訪報導,我們重點關注大灣區AI、金融科技、智能硬件、物聯網、5G等前沿技術動態及相關產業、公司報導,尋求報導請聯繫郵箱:natalie. [email protected]