Categories
程式開發

騰訊看點基於Flink+ClickHouse的實時數據系統實踐| InfoQ 公開課


直播概要

當業務發展到一定規模,實時數據倉庫就成了必要的基礎服務。從數據驅動方面考慮,多維實時數據分析系統的重要性也不言而喻。但是在數據量巨大的情況下,以騰訊看點為例,一天上報的數據量可以達到萬億級規模,這時要實現極低延遲的實時計算和亞秒級的多維實時查詢存在相當大的技術挑戰。

本次分享將細緻分析信息流場景下,實時數據系統面臨的技術挑戰。通過介紹騰訊看點的實時數據倉庫和多維實時數據分析系統的技術架構,詳解如何基於Flink+ClickHouse 解決海量數據場景下的實時數據分析系統難題。

直播大綱

  • 實時數據分析系統的作用和騰訊看點的業務場景分析
  • 實時數據分析系統難點和方案選型
    • 流水上報數據量大、格式混亂、缺乏維度信息
    • 實時計算引擎:千億/ 秒的上報數據實時維表關聯的挑戰
    • 實時存儲引擎:高並發寫入、高可用分佈式存儲和高性能查詢的難點
  • 基於Flink+ClickHouse 的技術架構和實踐
    • 通過微隊列拆分、實時數據清洗,構建實時數據倉庫,提供方便好用的實時數據
    • 通過具有低延遲、高吞吐、易用性高以及Exactly-Once 準確性特點的Flink,再藉助Redis 緩存,實現海量數據下的實時維表關聯
    • 通過MPP 存儲引擎ClickHouse,借助Zookeeper 實現高可用,通過路由分錶、預聚合物化視圖等實現高性能多維數據查詢功能

聽眾受益

  • 了解信息流場景下實時數據倉庫的特點
  • 了解騰訊看點萬億量級數據下,多維實時查詢系統的技術架構
  • 了解Flink 和ClickHouse 的企業實踐

適合人群

  • 對大數據技術Flink、ClickHouse 感興趣的數據愛好者
  • 正在探索通過Flink 構建實時數據倉庫的同學
  • 正在探索通過ClickHouse 構建多維OLAP 查詢系統的同學

講師介紹

王展雄,騰訊看點數據團隊高級工程師,復旦大學碩士畢業後加入騰訊看點數據研發組,主要負責騰訊看點實時數據系統的研發和數據倉庫的構建。曾經獲得JDD-2017 全球數據算法大賽Top3,國際權威人臉數據庫(MegaFace)百萬規模的人臉識別挑戰賽最好成績。