Categories
程式開發

AWS re:Invent深度觀察(計算篇)​​:全球計算網絡正在成為兵家必爭之地,啃硬骨頭時代已經開始


AWS re:Invent深度觀察(計算篇)​​:全球計算網絡正在成為兵家必爭之地,啃硬骨頭時代已經開始 1

在AWS re:Invent2019的主題演講上,Andy Jassy分享了這樣一個數據:儘管雲計算已經如火如荼的發展了十多年,然而在當前全球的所有IT消費中,在雲上的消費僅僅佔了3% ,其餘的97%仍在企業內部(on premise)。

在這3%當中,AWS佔了47.8%(Gartner在2019年的數據),是處於領先地位的服務提供者。增速方面,AWS在2018年一年營收超過250億美元,比2017年增長了47%,可以說保持了相當驚人的增長速度。

但是,AWS對這樣的現狀顯然並不滿足。

啃硬骨頭時代的開始

早年的AWS更專注於服務好那些雲原生的、初創企業的開發者們——這個群體是雲端世界的首批居民。如果雲計算不存在,他們的業務多半都不會存在,因此AWS與他們的關係是你情我愛、共同生長的關係。共同生長了十多年,這部分的需求基本上都被滿足的差不多了,經驗都沉澱到了各個產品線的硬件、代碼與文檔裡,全自助式服務,AWS的產品團隊無需在這方面再費多大力氣。

早年的AWS不太去強攻大客戶的項目,並非它不想做,實在是時機不成熟,有那個精力熱臉貼冷屁還不如先去專注把新市場做大。直到2013年,AWS搶下了CIA一筆價值6億美元的大單,從此開始有了與IBM、EMC、Oracle、微軟等傳統IT大廠在大客戶項目中同台競技的角色。數年來,各廠之間時而協作、時而競爭,大約是生意好做的季節協作多一些,生意不好做的季節競爭多一些。

2019年,AWS與微軟大大的鬧掰了。微軟搶下了美國國防部百億美元大單,這條新聞在2019年的十月底鬧得滿城風雨,政治之爭甚至超過了技術之爭;而就在那條新聞出現的兩個月之前,微軟宣布把自家產品的許可證收費方式給改了,極大的增加了所有客戶在各大雲計算平台上使用微軟產品的成本,AWS是首當其衝受到影響的一家(同時受到影響的還有阿里雲和Google雲)。

誠實地說,微軟Azure這幾年的進步也是很快的。至於更改許可證收費方式,微軟也的確有權這麼做。但,有權這麼做也無法改變這種行為實際上是前輩對新人使絆子的事實。

對於AWS而言,這是一次很大的警告。這意味著他們的步伐還要再快一些,才能在其他前輩大廠對其形成完全的合圍之前,帶出一批有影響力的客戶衝出合圍。

這場速度的競賽,其目標的名字叫做:

跨越了骨幹網、公網、企業內網與5G網絡的全球計算網絡。

根據InfoQ編輯在本次re:Invent大會上的觀察,AWS在這場競賽中採取了三個重要策略:第一,全速將AWS部署滲透到各個網絡的各個角落;第二,全速將Serverless打造成軟件開發的第一入口;第三,全速建設通往機器學習的平民入口。

一、全速進軍混合雲

我們在上一篇觀察中介紹了AWS本次發布的AWS Outposts、AWS Local Zone和AWS Wavelength,這幾個新發布都有一個共同的特點:它們發揮作用的場景,都脫離了AWS自家骨幹網的限制——AWS Outposts在企業內網,AWS Local Zone在公網,AWS Wavelength在運營商的5G網絡。

一直以來,AWS的部署環境都是自己的專線網絡、自己的機房、自己的軟件(現在連自己的硬件也越來越多了)、自己的定價……什麼都是自己說了算,這是AWS的核心競爭力之一。

但是,私有部署的需求一直是真實存在的需求。常見的私有部署需求有三種用戶場景:

  1. 客戶有還要繼續跑的老應用遺留在企業內部

  2. 客戶有低延時的需求

  3. 客戶有數據需要在私有環境下處理

不過,私有部署的生意可並不好做!這裡面有非常多的坑,往往通向無數個定制化解決方案,耗費極大的人力成本,並且這些人工很難沉澱到一個通用的產品上面。本次re:Invent上有一個來自Dropbox的分享,裡面有一張圖非常形象的描述了混合雲部署的難處:

AWS re:Invent深度觀察(計算篇)​​:全球計算網絡正在成為兵家必爭之地,啃硬骨頭時代已經開始 2

可能很多人還記得2016年有一條新聞,說Dropbox離開了AWS改為自建數據中心,原因之一是需要降低存儲成本,原因之二是需要低延時。而後來的發展是,隨著AWS每年發布大量的新產品和新特性,Dropbox現在又接著用起了AWS:他們以混合雲的方式同時使用自建數據中心與AWS,並且其自建的開發工具鏈與AWS的工具鏈保持了兼容。這裡面雖然還沒有AWS Outposts什麼事兒,但也已經是相當有意思的一則現象。

把企業級私有部署做成標準化的樣子,是多少IT服務商想做而沒做成的事情,AWS真的能做到嗎?目前我們還無法回答這個問題。不過可以肯定的是,這方面一旦有所進展,將是值得期待的一件事。

值得注意的是,AWS做了一些功課,乍看之下與此事似乎無關。本次Werner Vogels在其主題演講的最後發布了一個在線文檔集合Amazon Builders’ Library,裡面有大量文檔介紹Amazon是如何開發維護自己的軟件系統的思路與經驗,直擊四大靈魂問題:如何保持分佈式系統的健壯性?如何進行規模化工程?如何運維?如何保持高速的交付能力?這些思路與經驗,僅僅使用雲服務的用戶未必能聽懂,卻對那些自建雲的客戶與同樣做雲計算的“友商”相當有用。

事實上,Werner Vogels整個的演講,從為什麼做Nitro、怎麼做的Nitro,到為什麼做No Dom0、怎麼做的No Dom0,到為什麼做單元化、怎麼做的單元化,這些普通用戶基本聽不懂、幾乎只有“友商”才最關心的內容,被放在主題演講的環節講給所有人聽,這已經不是第一年才這樣做。在今年的3000場技術分享當中,也不乏一些相關的課程,對Nitro、對Graviton2等議題進行了更加細節的分享。

我們有理由相信,通過分享底層思路與經驗來建立信任,這也是AWS推動混合雲部署標準化的策略之一。

(不過Vogels也在開場說了,There is no [compression algorithm] for experience。我猜這句話的意思是:如果你們要做把我們走過的路都走一遍,那麼我們踩過的坑你們也一個都少不了!)

二、全速捧熱Serverless

“Serverless一定是未來的主流開發方式。”說這句話的人叫做Aaron Kao,是AWS容器、Serverless與開發者工具部門的負責人,所以我們可以認為他說這句話有他的偏見。

不過,InfoQ編輯在現場接觸了一些使用過AWS Lambda與AWS Fargate的企業級開發者,發現他們確實正在將越來越多的開發放在Serverless上,並且越來越不願意從EC2開始重新構建一套需要自己維護的中間架構層。

這種操作固然存在被AWS鎖入的風險,但是跟Serverless帶來的開發速度的提升與資源使用的節省相比,他們選擇了後者。這聽起來就好像是用過自來水的用戶再也不想去從井裡挑水吃的感覺。

當然了,我們也看到一些不願意用Lambda與Fargate的用戶。這些用戶的特點是:原本已經有一個比較強大的底層研發團隊、有一套現成的自家的資源管理系統,更願意直接管理EC2底層計算資源。比如說,一些國內大廠出海使用AWS,就以此種情況居多。

說到底,用了Lambda與Fargate,到底會不會被AWS鎖入?

其實,我們可以認為Lambda與Fargate都是EC2的客戶——這一描述得到了EC2部門副總裁Dave Brown的認可,並且得到了他的手繪圖一張作為補充說明:

AWS re:Invent深度觀察(計算篇)​​:全球計算網絡正在成為兵家必爭之地,啃硬骨頭時代已經開始 3

理論上,任何一個研發團隊都可以基於EC2來為自己打造一套定制化的Serverless開發平台,並且可以自行選擇是否要與AWS這套API體系兼容。

目前來說,各個雲計算廠商都已經陸續在各自的雲平台上推出了各自的Serverless服務。可以預見的是,隨著越來越多的開發者熟悉了Serverless的使用方式,當他們開始在不同的企業之間流動之後,會愈發的促進此種開發方式在各地的普及,提升各個領域的研發速度。

那將會是各個企業進一步嫌棄傳統IT的時刻。

三、全速打造機器學習平民入口

“SageMaker Studio是機器學習領域第一個一條龍式的開發者工具。”

Joel Minnick是AWS AI產品線負責人,對數據科學家們原本的工作方式十分熟悉。與軟件工程師需要對軟件進行版本控制一樣,數據科學家們對模型也需要進行版本控制,而且版本控制的維度更高、複雜度更高。雖然我們現在還無法斷言本次發布的Amazon SageMaker Experiments、Amazon SageMaker Debugger等系列工具是否就是最佳的工具,不過應該已經比用Excel表格來跟踪各個參數變化的方法方便多了。

機器學習在今年的re:Invent幾乎到處都被提起。在諸多客戶分享當中,幾乎十個里面有九個都說自己在AWS上搞機器學習,包括但不限於造藥的Insitro與Cerner、造汽車的F1方程式與大眾、造環大洋自動駕駛帆船的Saildrone ,至於一直都在大量跟數據打交道的金融客戶就更不用說了。其中,Insitro的創始人、曾經跟Andrew Ng共同創辦Coursera的猶太裔數據科學家Daphne Koller甚至斷言說機器學習進入生命科學將會引發下一次科學革命,讓人印象深刻。

看起來,AWS想要把那些一旦門檻降低就會發生的機器學習計算都囊括到自家的平台上!不遺餘力的把研發能力投入到“降低機器學習門檻”這件事上,得到了包括S3數據湖與Amazon SageMaker Studio開發者全家桶在內的一系列新服務,這是AWS目前交出的答卷。

雖然,Joel Minnick並沒有具體告知現在運行機器學習負載的實例個數,而只是說“實例很多”、“增長很快”。但我們不妨猜測一下,如果能夠成為今天大部分普通開發者都能使用的低門檻機器學習計算平台,那麼在AWS上運行的計算量將會比今天超出多少?

更重要的是,這同時也是敲開企業級用戶的一塊重量級敲門磚!那些不會為了Serverless而心動的企業,卻會為了可以低門檻的用到機器學習而心動,這是完全有可能的。

畢竟,那些可以被計算而還沒有被計算也不知道該如何被計算的數據,實在太多了。這裡面所蘊含的潛在價值是巨大的,而目前看來,機器學習是能夠挖掘這些數據隱含價值的最有效的入口。

四、全球計算網絡格局

截止到目前,我們看到正在形成的全球計算網絡已經分成了兩個陣營:

  1. 全球的雲

  2. 中國的雲

這種格局已是既成事實,預計在短期內不會改變。雖然沒有統一,但與國家電網相比,計算網絡的集中程度實際上是相當驚人的!而,中國的AWS在當下這個時刻實際上扮演了一個歷史上非常特殊的角色:幫助中國團隊出海,以及讓外國團隊更願意進入中國。

我們看到那些出海的中國團隊,無論是網易遊戲、獵豹移動這種本身就以技術見長的,還是我愛我家這種主營業務並不是技術的,都很容易的就能夠掌握AWS的用法、在各自的業務中充分發揮AWS的作用。

我們也看到那些進入中國的海外團隊,雖然在進來之後面對這個中國版AWS陷入短暫的懵逼狀態,但在摸清楚情況之後,也往往接受了其中國業務同時使用AWS與中國的其他雲的混合方案。

最後,小編還想推薦各位關注本次re:Invent上的另外兩個發布:

  1. Nitro Enclaves

  2. Accelerated Site-to-Site VPN

Nitro Enclaves是最底層的加密,並且可以驗證你部署的軟件(binary)是否在中途被篡改過。加速VPN則是基於AWS去年發布的Global Accelerator實現的功能,號稱可以將VPN提速20%以上,雖然沒有DirectConnect快,但畢竟比DirectConnect價格便宜很多,更加普惠。

對於脫離了骨幹網的雲部署而言,除了標準化之外,安全與速度也是影響用戶體驗的關鍵要素。這三塊真正做好了,混合雲才有真正的未來。


欲了解更多AWS re:Invent信息,請關注InfoQ AWS re:Invent 2019專區