Categories
程式開發

4 年Kylin 老玩家,汽車之家最佳實踐大揭秘!


Kylin 作為汽車之家的核心OLAP 引擎,服務於多個業務線與商業數據產品,應用於流量、線索、用戶行為、推薦效果等方面的數據分析場景。目前已有500+ 個Kylin Cube,存儲約300 T,整體Segment 數約1.6 萬;單個Cube 原始數據過萬億,單個Cube 最多31 個維度;12萬HBase region,查詢響應時間TP 95 穩定在2 秒以內。

本文導讀

  1. Kylin 在汽車之家的發展歷程及現狀:
    • Kylin 簡介、架構與原理
    • 使用現狀
    • 發展歷程
  2. Kylin 在商業化數據產品中的應用與實踐:
    • 業務場景
    • 技術選型(Kylin vs Druid vs ES)
    • 戰略級數據產品-車智雲
    • 開發流程
    • Kylin 的常規優化經驗(Cuboid 剪枝、查詢性能、最大維度組合、超大字典問題、精確去重…)
    • 其他實踐
    • KylinSide系統-集群信息統計、集群管理
  3. 集群升級和遷移的一些經驗分享:
    • 背景與挑戰
    • 整體方案
    • 整體架構
  4. 未來的規劃:
    • 實時OLAP
    • 雲原生

01 Kylin 在汽車之家的發展歷程及現狀

1. Kylin 簡介

4 年Kylin 老玩家,汽車之家最佳實踐大揭秘! 1

Apache Kylin 是一個可擴展的超快的大數據分析型數據倉庫,它有友好的web 界面,有交互式查詢能力,性能非常好,還有標準的SQL 接口,支持JDBC 查詢。 Kylin 的原理是基於預計算模型,是多維立方體的模式,在Kylin 3.0 之後已經支持實時OLAP 了,同時Kylin 可以和現有的BI 工具無縫結合。

原文鏈接:【https://www.infoq.cn/article/ipOwF5MIRR4qJXxMWE2M】。未經作者許可,禁止轉載。