整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

1.6. Hadoop的发行版本

hadoop 花牛 10℃ 0评论

应该用哪个版本的Hadoop呢?当然,这个问题的答案总是随着时间而变化,而且依赖于你所需要的特性。这里总结了现阶段Hadoop发行版本系列的概要特征。

有一系列活跃的发行版本。1.x发行版本系列是0.20发行版本系列的延续,并且包含有当前最稳定的Hadoop发行版本。这一系列中包含安全的 Kerberos认证,该安全认证避免了非授权用户访问Hadoop数据。几乎所有集群运行的都是这些发行版本或扩展版本(例如商业版本)。

0.22和2.x发行版本系列目前还不是非常稳定(2012年初),但是在你读到这本书的时候这些发行版本系列已经发生了变化,因为这些版本正被越来越多的真实应用测试(请参考Apache Hadoop发行版页面了解最新状态)。

 

2.x包含如下主要的新特性:

  • 在新的YARN系统(Yet Another Resource Negotiator)系统上构建了一个新的运行环境,称为MapReduce 2。YARN是一个通用的用于运行分布式应用的资源管理器。MapReduce 2替代了前期发行版本中的“经典”运行环境。

  • HDFS联邦管理,该管理将HDFS的命名空间分散到多个namenode中以支持包含有大规模数据文件的集群。

  • HDFS的高可用性,针对系统崩溃而启用备用的namenode来避免 namenode的单点故障问题。

 

表1-2只包含HDFS和MapReduce的一些特性。Hadoop生态系统中其他一些项目也在不断演化中,同时在这些项目中选出一部分组件联合使用具有一定的挑战。幸运的是,现在我们不需要亲自做这些配置了。Apache Bigtop项目对 Hadoop 组件的软件栈进行了内部测试并提供Linux安装包(RPM和Debian安装包)。同时,也有一些厂商提供兼容套件的Hadoop版本。

表1-2. Hadoop发行版本系列支持的特性

特性 1.X 0.22 2.x
安全认证
旧的配置名称 弃用 弃用
新的配置名称
旧的 MapReduce API
新的MapReduce API 是(加入部分缺失类库)
MapReduce 1运行环境(经典)
MapReduce 2 运行环境(YARN)
HDFS联邦管理
HDFS高可用

 

转载请注明:全栈大数据 » 1.6. Hadoop的发行版本

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址