Categories
程式開發

像原设计者一样深入理解Spark


在数据领域可用的框架中,只有少数框架在采用和交付方面达到了Spark的水平。显然,该框架已经成为一个赢家,特别是在数据工程方面。本文是对Spark组件的一个非常简单的介绍,其主要目的是提供对Spark架构的一般理解。

本文最初发布于Towards Data Science博客,由InfoQ中文站翻译并分享。

为什么要了解Spark?

在数据领域可用的框架中,只有少数框架在采用和交付方面达到了Spark的水平。显然,该框架已经成为一个赢家,特别是在数据工程方面。

如果你正在阅读这篇文章,这意味着你已经理解了我这样说的原因,所以我们直接进入主题。

为什么要了解Spark的内部构造?

有人可能会说,开车并不需要了解发动机的工作原理,是这样。不过,有人可能会说,了解发动机会让你成为更好的驾驶员,因为你将能够了解整个车辆的性能、局限性和根本问题。

同理,你不需要了解Spark的内部构造就可以使用它提供的API。但是,如果你了解的话,就可以减轻糟糕的性能和隐藏的Bug所带来的许多痛苦。此外,你还将掌握在整个分布式系统领域随处可见的概念。

方法

在我看来,学习有两个方面: 知识技术 。前者涉及到通过书本、结构化课程等形式获取知识。它更关注 是什么 。后者与技能有关,即“边做边学”,更侧重于 如何做 。这是我们这里要探讨的。

原文链接:【https://www.infoq.cn/article/c9fvmCxUosJLTp0dYff4】。未经作者许可,禁止转载。