Categories
程式開發

苏宁基于ClickHouse的大数据全链路监控实践


简介

ClickHouse是一款优秀的OLAP分析引擎,尤其是在单表分析 、Colocate Join方面性能表现尤为突出。ClickHouse之所以在众多的OLAP分析引擎中成为佼佼者,主要是因为它具备以下特点:列式存储、LSM-Tree存储引擎、向量化执行引擎、异步Merge和Mutation机制、并发MPP+ SMP等。

目前,ClickHouse在苏宁大数据的指标和标签的应用较多,从技术层面来看,主要解决的场景有:高基数的数据分析、精确去重、交互式分析、多变模式查询、大宽表分析、时序化数据存储、实时聚合的物化视图等。从业务层面来看,主要应用的场景有:新买家、老买家、复购、留存、实时用户画像、人群包圈选等。而基于ClickHouse的RoaringBitmap方案,保证了以上场景数据分析的实时和高效。

在ClickHouse监控方面,目前市面上提供的可适配方案不多,常用的有Prometheus +Grafana+ClickHouse_Exporter组合的方式,可通过提供的Dashboards来监控集群状况,但需要安装Prometheus和ClickHouse_Exporter,不编译的话还需要安装GO环境和Docker,整个框架过重,成本过高,对个性化的监控也不支持。还有一些其他监控组件如Graphite + Grafana,在这里就不做介绍。我们将ClickHouse融入苏宁全链路监控生态体系,在完善监控体系的同时,也支撑了个性化的监控,进一步拓展了全链路监控平台的深度和广度。

原文链接:【https://www.infoq.cn/article/ZJ5dFiYeywiK0DpG527C】。未经作者许可,禁止转载。