Categories
程式開發

大數據自助平台的思考與建設丨ArchSummit


Grab 是東南亞最大的互聯網 O2O 平台,業務由剛開始的打車業務,擴展到涵蓋了打車、支付、送餐、地圖、物流、生鮮等諸多領域。

如此快速變化的業務發展給數據工程團隊帶來了很多挑戰,上游的數據快速增長和變化,數據團隊需要快速支持數據流的變化。同時,數據量的快速增長和數據模型逐漸復雜化,我們支持下游數據分析團隊可以快速的分析處理。這些驅動著我們設計端到端自助的大數據處理平台,把各類數據需求模塊化,自動化,給數據用戶自助服務的平台。給上下游提供平台每個環節的可見度,聯通數據生產者和數據消費者。

內容大綱:

1、Grab 的數據架構的演化

  • 數據平台的迭代
  • 存儲與計算引擎的挑戰

2、數據平台自助化的原動力

  • 大數據遇到微服務
  • 多元化自助BI的需求

3、數據平台自助化的實踐

  • 自助數據導入平台
  • 自助數據分析平台
  • 自助數據導出平台

4、數據治理的思考和實踐

  • 數據質量監管平台
  • 元數據管理

聽眾受益點:

1、多元化業務快速發展的初創公司的平台化轉型路徑

2、如何設計高可擴展性,高性能的數據平台

3、自助化思維落地的挑戰與實踐