Categories
程式開發

存储成本降低80%,有赞数据中台成本治理怎么做的?


导语 | 随着直播电商行业的兴盛,有赞业务高速发展。但同时数据仓库中存储资源和计算资源消耗也非常高,甚至一度超过了整个平台业务的增速,显然不是一个可持续发展的态势。本文是对有赞技术副总裁,腾讯云最具价值专家TVP——沈淦老师在云+社区沙龙online的分享整理,为大家介绍有赞在数据中台成本治理上的实践,与大家一同交流。

https://v.qq.com/x/page/k3124wjyelx.html

点击查看完整直播回放

一、背景介绍

1. 数据中台机器资源情况

存储成本降低80%,有赞数据中台成本治理怎么做的? 1

从整体的资源角度看,有赞数据中台机器数量在 1500 台左右,其中大部分是物理机,也有一部分是虚拟机,同时有 100 个左右的应用、4 万个核,数据规模在 15 PB 左右。

从规模上来看属于不大不小的一个数据集群。从业务的特征上看,离线计算、实时计算、平台应用、在线服务等都依赖于这些资源。其中离线机器的成本占了将近 50% ,其他的部分相对来讲占的是小头。

2. 数据成本增速超业务

在我们上半年的治理中,主要是针对离线计算场景,实时计算的部分目前在规划启动中。

根据目前的业务情况来看,数据中台资源上投入成本的增速比我们整个业务发展的增速还要快,这就导致了它的不可持续性,这也是我们进行成本治理的一个主要原因。

原文链接:【https://www.infoq.cn/article/0OBqvvhUjcRwpIpT719H】。未经作者许可,禁止转载。