Categories
程式開發

Flink on PaaSTA:Yelp運行在Kubernetes上的新流處理平台


*本文最初發佈於yelp工程博客,由InfoQ中文站翻譯並分享。 *

在Yelp,我們每天使用Apache Flink“處理TB級的流數據,為各種各樣的應用提供支持:ETL管道、推送通知、機器人過濾、Session化等等。我們運行成百上千的Flink作業,因此,如果沒有適當程度的自動化,像部署、重啟和儲存點“這樣的常規操作會花費開發人員數千小時的時間。最近,我們的工具室中增加了一個新的流處理平台,它基於Yelp的PaaS服務即將面世“。其核心是一個州長操作員“,它自動監視我們的Flink集群的fleet部署和生命週期。

Flink on PaaSTA:Yelp運行在Kubernetes上的新流處理平台 1

Flink是Kubernetes中的PaaSTA

引入Kubernetes之前

在Yelp引入Kubernetes之前,Yelp的Flink工作負載運行在專用的AWSElasticMapReduce“集群上,這些集群預裝了Flink和“。為了實現EMR實例與Yelp生態系統其餘部分的良好協同,我們之前的流處理平台Cascade在一個碼頭工人“容器中運行大量的木偶“單體,以應用配置並啟動一組常見的守護進程(在Yelp幾乎所有的主機上運行)。

Flink on PaaSTA:Yelp運行在Kubernetes上的新流處理平台 2

Cascade的架構