Categories
程式開發

独家揭秘阿里文娱数据服务平台发展史


背景

近些年,随着双11、618等营销活动的常态化,优酷对内部的数据分析能力提出了更高的要求。主要体现在以下三方面:

  1. 实时性:传统的离线数据分析已无法满足强实时性的数据分析需求。在面向直播的数据大屏中,需要实时计算在线人数、CDN带宽水位、直播体验(错误、卡顿等)等大盘数据指标,需要全网的客户端日志以及个别服务端日志,无疑对数据的实时性提出了更高的挑战;

  2. 灵活性:除已经固化的业务报表外,新上线的活动、研发为了优化某一个模块所依赖的数据分析,都需要灵活、个性化的维度;

  3. 平台化:尽管依赖阿里集团的数据生态体系,但Case By Case的业务开发仍旧无法满足实时大屏需求,开发、维护成本增加,如何快速支撑实时大屏的流式计算成为数据团队要解决的核心问题。

面对上述三个方面的挑战,优酷数据团队首先解决了数据实时性问题,并在过程中沉淀出了面向实时、离线的多维度聚合统计分析类场景,提供模型搭建、数据计算、数据可视化的一站式数据服务平台。

前身:实时多维度聚合计算

每年的双11,除阿里集团的双11媒体大屏外,每个BU的大促、活动、战役都有自己的实时大屏,优酷也不例外。面对的主要挑战如下:

  1. 技术挑战:实时大屏都对数据有非常高的要求,同时面临着高吞吐、低延时、零差错、高稳定等多方面的挑战。仅世界杯期间,直播相关日志的实时流计算处理峰值就达到1千万条/秒,处理的总数据量高达百亿,期间实时大屏的稳定性保持在3个9的水平,并且要求分钟级的数据延时,涉及多维度分析;

  2. 业务挑战:在面向直播的数据大屏中,为了实时计算在线人数、CDN带宽水位、直播体验(错误、卡顿等)等大盘数据指标,需要全网的客户端日志以及个别服务端日志。另外为了让技术同学更全面的分析流量,增加了很多实时的数据维度,比如理论带宽降级策略需要端、版本、清晰度等,再比如播放体验卡顿相关需要运营商、省份城市、网络制式等维度。这些数据监控了当日直播的方方面面,也是活动应急决策的重要依据。

  3. 整体架构:

原文链接:【https://www.infoq.cn/article/4Y3VDIVBaEYe6BbEzEWo】。未经作者许可,禁止转载。