Categories
程式開發

阿里宣布成立雲原生技術委員會,未來1年投20億


9 月18 日,在2020 杭州雲棲大會上,阿里巴巴宣布成立雲原生技術委員會(以下簡稱委員會),阿里巴巴高級研究員蔣江偉擔任委員會負責人,達摩院數據庫首席科學家李飛飛、阿里雲計算平台高級研究員賈揚清、阿里雲原生應用平台研究員丁宇等多位阿里技術負責人參與其中。

阿里宣布成立雲原生技術委員會,未來1年投20億 1

委員會的誕生,不僅意味著阿里全面擁抱雲原生,而且標誌著雲原生升級為阿里技術新戰略。 可見,阿里在雲原生方向下足了決心。

要問這股決心來自什麼? 阿里雲原生技術負責人丁宇表示,“這來自於跟技術要紅利。那麼,什麼是領先一代的技術?是能真正發揮技術與產品的價值,幫助企業業務實現突破與創新,助力企業更好地發展。”

在丁宇眼中,雲原生就是“領先一代的技術”

“我們在不斷發展的過程中看到這個方向,又通過自身實踐,證明這是一個正確方向,從而更加認可它。因此,我們就比別人更早一些下定決心。”丁宇說。

事實上,在過去多年的雲原生實踐中,阿里獲得了不少技術紅利。

向技術要紅利

據悉,2009 年,阿里落地了分佈式,2011 年又落地了容器化……2019 年電商核心系統100% 上雲,“每一年,我們都在跟技術要紅利。”丁宇說。

雙11 萬筆交易成本4 年下降80%

在雙11 場景下,阿里以前做 1 萬筆交易要花100 塊,而現在只要20 塊,再乘以阿里的交易規模係數,可以看到這個成本節省的紅利是巨大的。

丁宇表示,“這就是通過雲原生降低的成本。”一般來說,雲原生的第一步是容器化。 當容器化以後,整個系統就可以進行標準化對接,雲上的彈性變得更加靈活。 “我們用雲原生的標準化調度技術,做統一調度和混合部署。這樣,很多業務的工作負載都跑在同樣的調度下,於是,整個資源效率和利用率得到了大幅提升。同時,我們的系統架構從集中式到分佈式再到微服務化,整個業務的迭代效率得到快速提高,團隊也不斷壯大。比如,原來可能三四百人支持的四五個系統,很快變成了20 萬個微服務,一個人就能負責四五個微服務,整個技術迭代的效率也得到了大幅提高。”他說。

拋個對比,100 人維護一個系統和1 個人維護四五個微服務,哪一個效率更高? 答案無疑是後者。

除了降低成本,雲原生還提高了阿里的技術效率。 現在,阿里的業務由公共雲的標準產品來提供支持,包括全面切換到雲原生數據庫上。 “通過SLA 交互建立起來的服務體系實際上更有保障,這樣的服務不僅更標準,而且更加系統化,而不是靠以前的人肉方式去提供服務。”

另外,委員會還制定了一些有挑戰性的目標:研發效率提高30%。 在丁宇看來,作為一個有萬名工程師的公司,研發效率提升30% 產生的紅利將是非常可觀的。 他強調,“雲原生不僅幫助了雙11,還幫助了阿里,無論從資源成本,還是技術迭代效率上都得到大幅提高。”

從幾周到幾分鐘

在經濟體內,螞蟻集團也通過雲原生拿到了技術紅利。 據螞蟻可信原生技術部負責人何徵宇介紹,在螞蟻集團,資源池通過容器的方式來統一交付,這大大提升了資源治理能力。 以前,資源交付主要以主機為主,用虛擬機的技術去承載業務負載,這就會出現一個問題:可觀測比較難。 “而容器化之後的可伸縮性和統一調度的能力對我們大有幫助”。

在服務治理上,螞蟻引入Service Mesh。通過雲原生的方法和解耦規範API 的方法,業務和基礎設施可以在同一個系統裡、在不同平面上工作,這樣一來業務對基礎設施一些需求的響應速度就得到提高,進一步釋放了基礎設施人員和業務人員的生產力。

舉一個典型的例子,SOFAMesh 是螞蟻針對金融行業特殊需求而開發的金融級中間件,它從2009 年開始開發,是螞蟻金融級雲原生分佈式框架SOFAStack 的一部分。 以前,切換資源後需要重新部署,中間的切換時間長達幾週。 而SOFAMesh 的上線,徹底改變了這種情況,切換資源不再需要重新部署,切換時間更是縮短到分鐘級。 這意味著,像螞蟻森林這樣每天都會面臨流量小高峰的業務,無需事先留足資源餘量,提前10 分鐘開始切換資源都綽綽有餘。

在去年雙11,SOFAMesh 100% 覆蓋螞蟻金服核心支付鏈路,幾十萬容器,峰值千萬QPS,平均RT(響應時間)為0.2ms,是業界最大的Service Mesh 集群。

雙11 加速雲原生化

阿里內部有一句話,“沒有經過雙11 檢驗的技術就不是一個成熟的技術。”

在丁宇看來,雙11 的挑戰是,如何用一個比較低的成本實現吞吐能力最大化和用戶體驗最大化。 因此,這是一個技術的權衡標準。

“作為雙11 的技術Leader,我們就要去考慮,今年哪些地方要升級,哪些地方不要升級,這些升級是不是能夠進一步的提升效率、降低成本、控制好風險,又能使用比較領先的技術。其實就是通過技術領先一代所獲取的未來紅利。如果用當下的技術去做,我們很難做出技術的優勢,很難給業務提供更好的支撐。”他說。

雙11 有一個特點是會出現極限峰值。 打個比方,日常的峰值是1 萬,雙11 可能會達到30 萬。 換句話說,這是一個30 倍以上的峰值。 面對這樣的情況,“阿里不可能用30 倍的成本去支撐雙11,這肯定是公司難以承受的代價”。

在一個確定的時間會有如此大的極限峰值,這實際上推動阿里技術人考慮怎麼去降低成本、提升穩定性,推動技術一代代向前演進。

怎么降低成本?丁宇解释,”早在 2011 年,阿里开始自研容器技术。2013 年 Docker 问世,阿里云容器融合其先进理念,并在 2015 年推进集团业务全面的容器化演进,容器技术对于双 11 的显著影响还包括在具体的混部技术实施中,通过混部技术,可节省 30% 左右的 IT 成本支出,在双 11 这个特殊时间段里,将每万笔交易成本降低 75% 以上。”

他說,“最後跟萬千客戶一樣,我們就完全走到了雲上。其實還是價值驅動,我們發現上雲對業務是最好的,從各個方面都有提升,最後雙11 就完全跑在雲上了。”

從某種程度說,雙11 不僅是阿里技術的“練兵場”,而且還加速了集團內部的雲原生化。

阿里宣布成立雲原生技術委員會,未來1年投20億 2

在雙11 的場景中,通過落地雲原生技術,阿里越來越確信雲原生技術方向上的價值。 2019 年,阿里將電商核心系統100% 搬到雲上,但是這並非一蹴而就。

丁宇向InfoQ 記者指出,“我們不是一次就搬完的,因為技術分很多層次。今天,我們做的是雲原生上雲,更多的依賴於雲上的標準化產品和技術。雲原生產品讓我們真正看到了紅利,我們就會上雲,不斷往上走,然後更深層次的去上雲。”

正因為拿到了技術紅利,看到了雲原生的價值,所以讓阿里更加堅定這個方向,成立雲原生技術委員會,對內加速上雲,對外增加投入,讓更多的技術人投入進來。

未來一年投20 億,賦能開發者和用戶

雖然阿里拿到了紅利,很多開發者拿到了容器化、K8s 和Serverless 的紅利,但丁宇認為“雲原生技術和理念普及的範圍仍有很大的空間。我們希望通過成立雲原生技術委員會,進一步加大對雲原生領域的投入,幫助開發者,賦能開發者。”

在合作夥伴方面,阿里發起雲原生合作夥伴計劃,優選集成100 個頭部夥伴,合作10000 傢伙伴,賦能50 萬開發者,與夥伴一起加速企業數字化轉型。 “阿里雲已經有超過300 萬的企業客戶,我們希望合作夥伴跟我們一起,來滿足企業客戶的需求。”“這是一個非常好的時機去戰略升級,聚焦力量,加大投入,加速整個行業雲原生的落地。”他說。

雲原生怎樣助力企業和開發者

雲原生可以加速企業的數字化轉型。 進一步看,雲原生具體是怎麼幫助企業的?

雲計算的第一代能力是IaaS,主要包含計算、存儲和網絡。 雲原生可加速企業基礎設施的雲化。 企業通過容器化、通過標準化的交付、彈性,可以和雲之間做更好的資源互通,更快地上雲。 丁宇稱,“基礎設施雲化後,採購資源就變成了租用資源,企業就可以收割第一波的雲計算紅利“。

往上一層,雲原生中間件可以幫助企業實現核心技術的互聯網化,包括分佈式、微服務、服務網格等技術,可以讓企業客戶和開發者的應用架構向雲原生架構升級。 如此,企業就具備分佈式、可擴展、快速迭代的能力,業務可以快速向前突破。 實現這樣的技術後,企業就能打破數據孤島,做到數據互通和服務復用。

“如此一來,我們就能幫企業去做數據化、智能化。雲原生的技術和產品把企業的基本服務先打通,然後提陞技術效率,降低資源成本,提高研發效率,縮短業務上線時間。我們今天講,雲原生是拿到技術紅利的一種新方式,並且是企業數字化的最短路徑。”他補充說。

對於開發者,雲原生同樣可以帶來好處。 螞蟻可信原生技術部負責人何徵宇稱,“對應用開發者來說,我覺得會更加方便、更加簡單。”在某種程度上,雲原生的變革類似於以前IT 系統的升級。 從業務角度,在這個時代,可能對基礎設施的關注會越來越少,更多的關注本身的業務邏輯。

對基礎設施的開發者而言,他們會享受到標準化的優勢。 “我能感受到,現在做技術基礎的工程師,肯定言必稱’雲原生’,因為他們整個的環境,要面對的東西更多是容器、服務網格等,而不是原來那樣搞個Apache 、搞個Nginx,語言上也會有不同的變化。”他說。

阿里經濟體雲原生化藍圖

據悉,阿里經濟體是一個規模龐大的企業集團,有淘寶、天貓、盒馬、AliExpress、Lazada、阿里巴巴國際站、1688、餓了麼、優酷、釘釘、阿里媽媽、阿里雲、菜鳥、螞蟻集團等成員。 實現這些成員的全面雲原生化是雲原生技術委員會的主要目標之一。

阿里宣布成立雲原生技術委員會,未來1年投20億 3

委員會的首要目的是統一思想。 丁宇表示,“雖然核心是賦能開發者和客戶,但我們自己首先要構建體系,然後統一思路,建設一些標準。但我覺得,委員會還需要再往下一層,面向未來。雲原生有哪些技術,它的路線是什麼,形成哪些新的特性,形成哪些新的競爭力,未來市場和客戶還會需要什麼,我覺得需要更多的拉通,更多前瞻的佈局,還有落實更多眼下的工作,這都是委員會應該去做的事情。”

上雲會涉及阿里技術的方方面面,比如數據庫、安全、大數據、中間件、容器調度和Serverless 等。 雲原生技術委員會的成立,聚集起各個領域的負責人,形成更多共識,統一節奏。

丁宇舉了一個例子。 今天,某個業務要上雲,路徑千千條。 “但是,我們希望用最小的代價、更低的成本能統一性地上雲,這就少不了委員會要達成節奏一致,從整體上來控制風險“。

挑戰:複雜性、技術債務…

據丁宇介紹,這個路線圖是自底向上,“IaaS 層已經全部完成,到PaaS 層,我們開始有選擇的進行”。 至少一年前,阿里就已經在進行雲原生化大規模的落地,但情況非常複雜。 阿里整個業務,既有比較複雜的技術債務,又有不同的技術層次,“你要替換幾十種技術,內外的技術如何達成統一,其實面臨很多的挑戰”。

在遷移過程中,整體業務系統會涉及到一些投入,還有短期的成本波動。 此外,還會有一些額外技術和人力的付出。

他表示,“如何控制複雜性,怎麼控制好上雲過程中,升級大型系統架構的穩定性問題,控制好技術風險,都是一直面對的難題。這種技術體系的遷移也需要技術人員體系和技能的共同升級。而一旦人、技術和系統升級後,就會有更好的表現。”

核心策略:三位一體

阿里雲原生技術委員會提出了一個核心策略,叫三位一體,即社區的標準化技術與阿里用的技術、對外服務企業的技術達成一致,互相兼容。 “所以,我們一定是往開源開放的標准上去兼容”。

同時,“在個性化的部分,我們基本上用可擴展的方式、標準化的方式去進行一些擴展,保持基本的協議標準的兼容”。 在丁宇看來,“我們就能把在阿里沉澱的一些企業特性變成阿里雲核心能力的一部分,因為我們都是在標準的技術上進行擴展和填充的,所以也解決了我們競爭力的問題。”

動作:雲原生樣板間

目前,在阿里巴巴經濟體中,Lazada 已經實現100% 雲原生。 作為阿里經濟體中相對低調的成員,為何它卻走在前面?

據丁宇解釋,Lazada 成立較晚,技術債務比較少,並且正在做一次大的技術升級。 對Lazada 而言,雲原生是一個非常好的升級方向,“所以比較容易一拍即合,把它做成一個雲原生樣板間”。

“有幾個要素可以讓我們找到這樣的雲原生標杆。一個是它本來就在雲上,或者它本身對雲原生非常友好,並且過去可能做了一些儲備。另外,它沒有什麼技術債務。最後,它本身體量沒有很大,這樣就比較容易使用雲原生。這些因素促成了我們偏小一點的業務,反而在雲原生上進展更快。”他說。

據悉,除了Lazada,阿里考拉也已經實現了全面的雲原生化。 它們就是所謂的“雲原生樣板間”。

雲原生樣板間一個很大的作用是它要去選擇哪些產品在什麼場景下是可以用的,更適合阿里集團的業務。 第一,它要選產品,把路趟出來。 第二,它要去構建一些基於雲的體系,比如企業IT 治理。 在這樣的標杆業務上,它會去沉澱出體係來,沉澱出和雲對接的關於IT 治理方面的能力。

丁宇強調,“我們的最終目標是可以踏踏實實地沉澱了一些系統,包括發布、變更、升級的系統,如何使用雲產品的系統,如何在雲上構建IT 治理的系統,更快地做好雲原生上雲的沉澱。”

原則:堅持二八原則

在阿里經濟體中,淘寶和天貓的核心系統已經實現雲原生化,但非核心系統還沒有云原生化。 丁宇說,“對阿里來講,雲原生化是沒有辦法達到百分百的。”

任何一家企業,尤其是規模越大、歷史沉澱越多的企業,一定會有一些技術債務,“像阿里這樣的企業也不可能百分百所有的技術全都雲原生,全都使用阿里雲的產品。如果真要這麼做,它將面臨一個巨大的技術債”。

據云原生技術委員會的估計,阿里集團使用到的80% 的技術會全面的切換到雲原生產品。 “做到80% 就是一個非常好的狀態,因為它確實是非常複雜的結構,非常龐大的體系。我們不可能把所有的技術全切到雲原生產品,一定會存在個性化、定制化的部分“。

雲原生的動作會先從核心系統開始。 因為核心系統人員更充沛,得到更多重視,並對技術有更極致的要求,所以它有一定的人員去更好的做新技術的嘗試、迭代和落地。 核心系統形成標杆後,就要復製到非核心或周邊的體系,覆蓋這些系統。

還有20% 不會全面雲原生化。 雲原生技術委員會的判斷標準是,它不是一個行業客戶的需求,不是一個通用需求。 可能在特定場景下,在特定規模下的特定技術不要求雲原生,“相當於它要支撐業務發展,支撐業務的個性化要求,我們就保留這樣的技術,大概是一個二八原則”。

丁宇表示,“從應用和系統的覆蓋度來說,一定會做到百分百,但從技術層次的覆蓋來講,我們不會做到百分百。如果從時間上看,未來1- 2 年,我們會把覆蓋度做到百分百,阿里的系統都要雲原生化,這是確定的。但是,對於不同的BU、不同的系統,是90% 用雲原生產品來構建它的體系,還是70%,這存在一個相對較大的權衡空間。”

我有一個觀點,2013 年後成立的公司,是可以百分百雲原生化,因為沒有什麼歷史包袱,沒有特別多的技術債務。 哪些部分可以雲原生化,哪些部分可以上雲,哪些部分可以保留自己一些特定的能力,這個裁量權應該交給企業,交給企業的技術決策者。 ——丁宇

自證預言

雖然今天阿里在雲原生上走得很遠,但是回看2010 年或2015 年,誰也無法100% 保證雲計算一定會向雲原生方向演進。

阿里有一句話叫自證預言。 它的意思是你先提出預言,然後證明這是一個正確方向並將其落地。 在丁宇看來,“最開始,我們沒有提出雲原生,但從2009 年落地分佈式、互聯網中間件,到2011 年開始落地容器化。我覺得云原生是一個偏前瞻性的、價值驅動的理念。在這個前提下,我們繼續往前走。”

“做技術的過程中,我們不斷打造一些標準,去迎合一些標準,不斷地修正我們做的事情,就走到了今天。事實證明,我們其實沒有走錯,也釋放了很多價值,而且在整個行業中,也有非常多的、海量的訴求,所以我不擔心走錯,因為我們有快速修正、及時糾錯糾偏的能力。”他坦承說。

寫在最後

站在今天看,雲原生已經成為雲計算的下一站,它是雲計算的再升級。 正如丁宇所言,“雲原生還會有更多的創新,有更多的產品技術。從企業客戶和開發者角度,雲原生是雲計算釋放紅利的最短路徑,是企業數字化的最短路徑。 ”

而在雲原生時代,雲計算會持續地向前演進。 “下一個十年,我希望能真正釋放雲的紅利,最重要的還是讓更多的人用上雲或理解雲,降低整個IT 開發或研發門檻。比如,我可能幾塊錢就租個虛擬機,5 分鐘就能上手,編寫自己的應用。只有這樣,我覺得云計算才能真正地進入到我們生活的方方面面,通過開發者的手為我們的企業和社會創造更大的價值。”何徵宇說。