手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Apache Hadoop 3.0.0 GA 正式发布

[日期:2017-12-18] 来源:linuxpilot.net  作者:Linux [字体: ]

12 月 13 日 Apache Hadoop 3.0.0 GA 版本正式发布,这意味着用户可以正式在线上使用 Hadoop 3.0.0 。这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本,有很多重大的改进,比如支持EC、支持多于 2 个的 NameNodes、Intra-datanode 均衡器等等。

只能使用 Java 8
所有的 Hadoop JARs 都是针对 Java 8 编译的。仍在使用 Java 7 或更低版本的用户必须升级至 Java 8。

HDFS 支持纠删码 (Erasure Coding)
与副本相比纠删码是一种更节省空间的数据持久化储存方法。标准编码 (比如Reed-Solomon(10,4)) 会有1.4 倍的空间消耗;然而 HDFS 副本则会有 3 倍的空间消耗。纠删码的额外消耗主要是在重建和执行远程读取,它传统用于储存冷数据,即不经常访问的数据。当部署这个新特性时用户应该考虑纠删码的网路和 CPU 消耗。

支持 Microsoft Azure Data Lake filesystem 连接器 Hadoop 现在支持集成 Microsoft Azure Data Lake,并作为替代 Hadoop 预设的文件系统。

基于 API 来配置 Capacity Scheduler 队列的配置 OrgQueue 扩展了 capacity scheduler,通过 REST API 提供了以编程的方式来改变队列的配置。

关于更详细 Hadoop 3.0.0 GA 的内容请参考 Hadoop 官方网站

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署  http://www.chineselinuxuniversity.net/Linux/2017-04/143095.htm

Hadoop2.7.2集群搭建详解(高可用)  http://www.chineselinuxuniversity.net/Linux/2017-03/142052.htm

使用Ambari来部署Hadoop集群(搭建内网HDP源)  http://www.chineselinuxuniversity.net/Linux/2017-03/142136.htm

Ubuntu 14.04下Hadoop集群安装  http://www.chineselinuxuniversity.net/Linux/2017-02/140783.htm

CentOS 6.7安装Hadoop 2.7.2  http://www.chineselinuxuniversity.net/Linux/2017-08/146232.htm

Ubuntu 16.04上构建分布式Hadoop-2.7.3集群  http://www.chineselinuxuniversity.net/Linux/2017-07/145503.htm

CentOS 7.3下Hadoop2.8分布式集群安装与测试  http://www.chineselinuxuniversity.net/Linux/2017-09/146864.htm

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建  http://www.chineselinuxuniversity.net/Linux/2017-06/144932.htm

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程  http://www.chineselinuxuniversity.net/Linux/2017-06/144926.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.chineselinuxuniversity.net/topicnews.aspx?tid=13

本文永久更新链接地址http://www.chineselinuxuniversity.net/Linux/2017-12/149569.htm

linux
相关资讯       Hadoop 3.0 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款