Categories
程式開發

Flink on K8s实践经验总结:我们都踩过哪些坑?


本文根据 Apache Flink 系列直播整理而成,由阿里巴巴高级开发工程师唐云(茶干)分享。主要内容如下:

  1. 容器管理系统的演变
  2. Flink on K8s intro
  3. Flink on K8s实战分享
  4. Demo

更多内容,查看 Apache Flink运维和实战系列文章。

本文第一部分将简明扼要地介绍容器管理系统的演变;第二部分是 Flink on K8s 简介,包括集群的部署模式调度原理等等;第三部分是我们这一年以来关于 Flink on K8s 的实战经验分享,介绍我们遇到的问题、踩过的坑;最后一部分是 Demo,将手把手演示集群部署、任务提交等等。

容器管理系统的演变

Flink on K8s实践经验总结:我们都踩过哪些坑? 1

首先是以一个 Kubernetes 非内核开发人员的角度去探讨其和 YARN 之间的关系。众所周知,Apache Hadoop YARN 可能是在国内用途最广的一个调度系统,主要原因在于 Hadoop HDFS 在国内或者是在整个大数据业界,是一个使用最广泛的存储系统。因此,基于其上的 YARN 也自然而然成为了一个广为使用的一个调度系统,包括早期的 Hadoop MapReduce。随着 YARN 2.0 之后 Framework 的开放,Spark on YARN 以及 Flink on YARN 也可以在 YARN 上进行调度。

原文链接:【https://www.infoq.cn/article/TK7f60T0Kbt82Oh0mka5】。未经作者许可,禁止转载。