Categories
程式開發

一文看懂阿里文娱大数据OLAP选型


随着各行各业信息技术的发展,数据分析对业务的提升功不可没。数据处理大致可以分为两类:联机事务处理OLTP(Online transaction processing)、联机分析处理OLAP(Online Analytical Processing)。而大数据OLAP引擎也是百花齐放,使得业内各数据平台的架构设计各有不同,本文主要是对OLAP的技术选型做一些探究和总结。

背景

大多数公司内部的数据平台是业务主导,服务于业务、聚焦于业务的,产品本身即为数据分析、数据运营等各个数据受众所沉淀下来的业务分析流程。比如视频行业内有纵向的内容宣发数据平台、用户运营数据平台、播放体验数据平台等,皆是对不同业务知识的抽象、沉淀、总结。如此一来,产品对业务友好,符合各需求方的使用习惯,专注业务数据。然而各个数据平台混杂,弊端也暴露出来:

  1. 产品维护成本提升:数据产品越来越多,各平台的需求迭代等都需要各个同学负责;
  2. 技术成本未收敛:各个业务之间有很多共性,绝大多数产品聚焦于业务模式下的固化查询(报表类需求),技术方案类似但选型不一致,如预计算未形成范式、KV存储选型多。数据平台的价值触及天花板,各自为政,数据发挥了各业务域下的价值却未向上突破天花板;
  3. 仍有部分数据分析师的特定报表散落各地未统一收口。

原文链接:【https://www.infoq.cn/article/FBIxAJBKI6piiqgg0mzu】。未经作者许可,禁止转载。