Categories
程式開發

Kubernetes 運行大數據工作負載的探索和實踐丨Archsummit


隨著 Kubernetes 的成熟,越來越多的大數據用戶希望將 Spark 作業運行在 Kubernetes 之上。 Spark 從2.3版本開始已經可以運行在 Kubernetes 之上,然而目前 Kubernetes 默認調度器對於大數據場景的支持還有很多不足,例如高並發場景,動態集群資源共享場景,親和調度場景等。 Volcano 針對於這些大數據特有場景進行了定制化開發。提供了Pod delay creation,Queue,Zone aware scheduling 等,獲得了很好的功能體驗和性能提升。

在本次演講中將介紹 Kubernetes 運行大數據工作負載的探索和實踐,以及 Volcano 針對大數據工作負載的優化,並演示相應的功能和性能提升等。

內容大綱:

1、Kubernetes 運行大數據作業的現狀

2、Kubernetes 運行大數據的痛點

3、Volcano 針對大數據的方案設計

4、性能方面的提升

5、後續的改進計劃

聽眾受益:

1、如何在社區中運營一個開源項目

2、如何使用 Kubernetes 來運行大數據

3、如何優化 Kuberentes 來支持 計算類任務