Categories
程式開發

突破算力束缚:阿里提出智能算力引擎DCAF, 节省20%GPU算力


导读

近年来,伴随着互联网的蓬勃发展,工业界迎来了非常多的机会和挑战。以系统服务能力而言,流量规模持续增长,尤其进入移动化时代后,流量规模已经到达了一个新的高度。以淘宝为例,淘宝的DAU已在上亿规模,每天有大量的流量请求淘宝的后台服务,使得整个系统承担着巨大的压力。每年双十一等大促期间,瞬时涌现的流量洪峰更是对后台服务端的大考。

诚然,流量的增长和规模是一个严峻的挑战,但这个问题长久以来一直存在,我们已经有较多的应对经验。而另一方面,深度学习技术带来的变化,让整个工业实时服务系统面临着一个完全崭新的局面,需要以新的视角迎接新的挑战。

突破算力束缚:阿里提出智能算力引擎DCAF, 节省20%GPU算力 3

Figure 1 模型效果与算力成本

硬件计算能力的发展驱动了深度学习技术的广泛应用,同时深度学习时代模型升级的频率显著高于以往。以推荐、广告系统为例,深度学习初期,我们称之为1.0时期,大部分团队在计算力增长红利下快速推动个性化算法在各个领域取得了巨大的进展。比如仅阿里巴巴一家公司近年来就推出了非常多工作:DIN、DIEN、MIND、TDM等。

这一次浪潮虽然取得了大量的效果增长,但是另一方面,模型的计算力需求增长将过去多年来累积的计算力成本下降的红利迅速蚕食。即使未来硬件计算成本保持线性下降的趋势(要知道目前CPU已经无法维持摩尔定律),同等算力带来的算法效果增长也在显著收窄。这也就意味着在新的阶段, 计算力可能从过去算法进化的推力变成阻力

原文链接:【https://www.infoq.cn/article/Xl0CNwj3EwEyZEDlxlSE】。未经作者许可,禁止转载。