Categories
程式開發

CephFS+Kubernetes 在网易轻舟容器平台的实践


在网易集团,基于Kubernetes构建的网易轻舟云原软件生产力平台扮演着支撑数字化业务快速高效创新的重任,帮助业务团队快速实现云原生应用,提高研发效能,并节省运维成本。

作为网易轻舟云原生平台的存储后端,CephFS主要为网易轻舟容器平台NCS解决容器间共享存储的问题。尤其是在当前比较火的AI训练场景应用十分广泛,存储规模达已达数PB级,CephFS的性能优化等工作非常重要。

CephFS+Kubernetes 在网易轻舟容器平台的实践 1

Ceph和CephFS简介

Ceph由RADOS作为底座,上层提供对象、块、文件等接口服务。RADOS由MON、OSD、MGR组成,MON负责集群的各类视图(osdmap,pgmap等),健康状态的管理。MGR则提供了丰富的系统信息查询功能,以及支持第三方模块接入(Zabbix,Prometheus,Dashboard等)。OSD则负责最终的数据存储,一般一个OSD对应一块磁盘。

CephFS在此架构基础之上增加了MDS和client,其中MDS负责文件系统的元数据管理和持久化操作。client则对外提供了兼容POSIX语义的文件系统客户端,可通过mount命令进行挂载。

CephFS典型实践

部署

CephFS+Kubernetes 在网易轻舟容器平台的实践 2

整个CephFS在轻舟Kubernetes环境中的部署架构如下:

原文链接:【https://www.infoq.cn/article/h0mFSrDhSryoxBwrtBZK】。未经作者许可,禁止转载。