Categories
程式開發

AWS re:Invent 2019深度觀察(底層篇):兩個趨勢,新的革命?


根據InfoQ編輯在本次 AWS re:Invent大會上的觀察發現,到2019年,AWS的底層能力呈現出兩個明顯的發展趨勢:

第一個趨勢:超算 as a Service

AWS正在將自己計算密集+網絡密集的能力打造的越來越強,以應對越來越多的高性能計算與機器學習類應用負載的需求。這個方向目前由搭載了最新款nitro系統的幾款EC2實例引領,包括但不限於C5n、P3dn、Inf1等系列,還有已經成為標配的萬兆網卡。

特別值得注意的是C5n這個實例:

AWS re:Invent 2019深度觀察(底層篇):兩個趨勢,新的革命? 1

上圖所示為美國海軍研究實驗室用超算Cray XC40、c4集群與c5n集群分別進行天氣預報計算的性能比較:縱軸為計算用時,橫軸為並行參與計算的CPU數量。可以看出,c4集群(使用TCP協議)用到了200個以上CPU參與並行計算之後出現明顯瓶頸,而c5n集群(開啟了EFA網絡功能繞過了TCP協議——這是最新款nitro系統提供的能力之一)即使超過1000核也沒有呈現明顯瓶頸,在計算用時方面的表現已經超越了Cray XC40。

雖然仍不清楚是否所有現在在超算上跑的負載都已經能夠在AWS上面以同等的表現跑起來,但是現在已經完全可以說:AWS的超算 as a Service已經進入了一個新階段。

值得注意的是,Nitro系統給AWS、乃至整個雲計算領域帶來的影響是深遠的。在會議期間的一次採訪中,AWS首席雲計算企業戰略顧問張俠特別提醒我們關注Nitro系統的重要性,小編覺得他的這句提醒很有道理。在小編看來,Nitro不僅僅是AWS做的一套搭載了特定軟件的主板,更加是對雲計算操作系統下一步該怎麼做的一系列探索,而目前我們所看到的已完成的部分,很可能僅僅是一個開始。不過,這個話題在這篇文章就先不展開了。

另外還值得注意的是Inf1這個實例:這是一款GPU計算實例。也就是說,它實際上是G系列/P系列的平行版本!這個系列的名字來自AWS自研的GPU芯片的名字——Inferentia,專門設計用於機器學習推斷(inference)負載的優化。

(Annapurna這場收購可真值!——Andy Jassy如是說。)

第二個趨勢:計算資源往邊緣下沉

計算資源往邊緣下沉的意思是,把計算節點往越來越靠近終端用戶的地方延伸。這個方向目前還在較早的探索期,本次宣布的近地節點服務Local Zones(洛杉磯的Local Zone現在已經可用)、近5G運營商末端節點服務Wavelength(計劃在2020年之後可用)、以及發布剛剛一年、今年剛剛進入GA階段的私有云節點服務Outposts,代表了AWS在這個方向做出的努力。

值得一提的是,InfoQ編輯在大會期間採訪了虎牙直播的技術負責人,他表示對Local Zones和Wavelength非常關注。原因是,為了讓內容更好看,虎牙直播的內容生產過程需要對主播拍攝的視頻做越來越多的加工,觀眾交互過程也需要越來越多的效果,於是需要的計算量就越來越大,這就意味著僅靠用戶的手機/PC的計算能力是不夠用的;而無論是對虎牙直播的主播還是觀眾,低延時是最為至關重要的用戶體驗,所以也不可能把這些計算工作放在離他們很遠的節點進行。

目前,可用的計算節點都在各個區域的大數據中心,這些數據中心往往蓋在偏遠地區,而大部分用戶都是住在各地城市裡的,用這些數據中心來做此類計算並不是理想的方案。

所以,對於虎牙這一類服務提供商來說,問題就很明確了:在靠近用戶的地方都有哪些計算節點可用?可想而知,在全球範圍內,面對這個問題的服務提供商不僅僅是虎牙直播這麼一家。

對應這個問題,有很多種可能的解決方案和方案提供方;不過,由一家能夠提供雲計算服務的提供方來解決這個問題,從社會資源的調配來看,很可能是目前最理想的配置!

AWS為了回應這個問題而發布的兩個方案的思路也是很明確的:

  1. Local Zones,把自己原有的CDN節點改造成計算節點,已經包含的計算服務包括EC2、EBS、FSx、VPC、ELB、RDS。

  2. Wavelength,把運營商合作夥伴的5G基站改造成計算節點,目前還不知道將會包含哪些計算服務,我想EC2是最起碼的吧。

這就比較有意思了: AWS從2006年發展至今(2019年12月4日),一共在全球開啟了22個區域(還有4個已公佈),包含了69個可用區(還有13個已公佈)。如果用到直連網絡Direct Connect,則有97個網絡節點可選。此外,還有199個邊緣站點和11個區域邊緣緩存,遍布在37個國家/地區的78個城市。

AWS re:Invent 2019深度觀察(底層篇):兩個趨勢,新的革命? 2

AWS Local Zones的數量會不會很快就發展到210個?我覺得這可能不會需要花費特別長的時間。

然而,5G基站的數量,又將會達到多少? 5G基站計算節點的數量,又將會達到多少?這就是個真正有意思的問題了。

本次主題演講上,AWS Wavelength是作為壓軸、由AWS CEO Andy Jassy和Verizon CEO Hans Vestberg聯合發布的。這也從側面體現了這一邊緣計算節點的重要性吧!

(我很興奮!——Andy Jassy如是說。)

第三個趨勢:更加精細化的使用

這其實並不是一個2019年的新趨勢,而是一個歷史悠久的老趨勢,不過它的重要性擺在那裡,所以還是值得講講。所謂精細化使用的意思就是,用戶可以需要多少買多少、需要什麼品質的服務就買什麼品質的服務,減少浪費,可以省錢;權限也只分配需要的,需要什麼權限才給什麼權限,這樣更加安全。在今年的發布中,權限管理工具S3 Access Points、可以在一個計算節點上掛更多存儲從而減少計算資源浪費的Redshift RA3實例、可以把ElasticSearch要分析的日誌數據先放到一個不那麼貴的熱存儲上的UltraWarm服務、搭載了第二代自研ARM芯片(graviton2)的M6g、R6g與C6g實例,均屬於在原有服務上進一步提升了細粒度,給用戶提供了更多的精細化操作空間。

跟前兩個趨勢相比,這個趨勢聽起來不那麼讓人興奮,但是非常的實用,很期待年年都能繼續看到。

今天就先分享到這裡。


欲了解更多AWS re:Invent信息,請關注InfoQ AWS re:Invent 2019專區