Categories
程式開發

Apache Hadoop 3.3.0发布,正式支持腾讯云对象存储COS


近日,Apache Hadoop 3.3.0版本正式发布,增加对腾讯云对象存储COS的支持。

Apache Hadoop 3.3.0是2020年Apache Hadoop 3.3系列的第一个版本,包含许多重要特性和增强功能,部分列举如下:

  • ARM支持:这是第一个支持ARM体系结构的版本。

  • protobuf升级:由于protobuf-2.5.0版本寿命终止,将protobuf升级到3.7.1。

  • S3A功能增强:对S3A代码做了许多功能上的增强,包括支持委托令牌(Delegation Token)、更好地处理404缓存、改进S3guard性能和弹性。

  • ABFS功能增强:解决实际使用中出现的问题并调整需要优化的地方,适当增加更多测试,改进文档,尤其是故障排除的文档。

  • 实现腾讯云COS文件系统支持:腾讯云是中国市场上排名第二的云供应商,其对象存储COS在中国云用户中得到了广泛使用。COSN文件系统可在Hadoop中原生支持腾讯云COS。

  • Java11运行时支持: Java 11运行时支持的开发工作已完成。

  • HDFS RBF稳定性改进:HDFS路由器现在已提供对安全性的支持,还包含许多错误修复和改进。

  • DNS解析以支持域名到IP服务: DFS客户端可以使用单个域名来发现服务器(名称节点/路由器/观察者),而不必在配置中明确列出所有主机。

  • 机会容器(opportunistic containers)的调度:支持通过中央RM(YARN-5220)、分布式调度(YARN-2877)以及基于实际节点利用率的容器调度(YARN-1011)和容器升级/降级(YARN-5085)来调度机会容器。

  • YARN应用程序的应用程序目录:应用程序目录系统为YARN应用程序提供编辑和搜索界面。这提高了YARN在管理应用程序生命周期的可用性。

Apache Hadoop 3.3.0发布,正式支持腾讯云对象存储COS 1

Hadoop是目前应用最为广泛的分布式大数据处理框架,也是大数据处理领域事实上的标准。

大数据分析需要花费大量的计算和存储资源。在传统模式下,计算与存储资源耦合度较高,一旦资源不够,就需要对二者同时进行扩容。近年来,在云计算的推动下,开发者逐渐开始采用云上对象存储,来实现计算与存储的分离,进而提升资源的灵活性,并降低成本。

此次Hadoop新版本正式支持腾讯云对象存储COS,意味着后续开发者在基于Hadoop架构进行大数据分析时,能够在不修改代码的情况下,无缝高效地使用腾讯云COS来处理海量数据读写任务。这在一定程度上标志着腾讯云对象存储技术受到了Hadoop开源社区的认可。

腾讯云对象存储COS底层采用腾讯自研存储引擎YottaStore,能够实现单集群理论管理百万级节点和按需扩容,磁盘利用率达到 90% 以上。

“开发者在腾讯云上可以使用弹性 MapReduce(EMR)计算,并直接使用腾讯云对象存储COS作为后端存储,整个过程都不需要额外添加代码,更加方便和快捷。”腾讯云对象存储负责人介绍。

目前,小红书、猎豹移动、珍爱网等公司都使用腾讯云“EMR on COS”的计算与存储分离模式来快速构建和部署大数据分析程序,以满足企业大数据业务需求。