Categories
程式開發

阿里雲基於 Spark 的雲原生 OLAP 引擎 Jindo 實踐與優化丨QCon


Jindo 是阿里雲智能 E-MapReduce 團隊在開源的 Apache Spark 基礎上自主研發的雲原生 OLAP 引擎。 Jindo 在開源 Spark 版本基礎上做了大量優化和擴展,並且深度集成和連接了眾多阿里雲基礎服務(如 OSS )。用戶可以利用Jindo在雲上快速構建高性能、易於伸縮、低成本的存儲計算分離架構的數據倉庫系統。 E-MapReduce 團隊基於 Jindo 完成了 TPC-DS 測試,在性能和性價比指標上都名列第一,成為 TPC 系列 Benchmark 認證的全球首個公共雲產品。

本次分享會具體介紹 Jindo 的實踐與優化,包括 Transaction 的支持,RuntimeFilter/Relational Cache/File Index 等性能優化,以及 Jindo 在雲原生數倉的應用實踐。