整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

9.5 YARN 配置

hadoop 小红牛 12℃ 0评论

YARN是运行MapReduce的下一代架构(参见6.1.2节),其守护进程和配置 选项均与传统的MapReduce(也被称为MapReduce 1)不同。本节将讨论这些 差异,以及如何在YARN上运行MapReduce。

在YARN上,用户不再运行jobtracker或者tasktracker。取而代之的,一个 单独的资源管理器将与HDFS的namenode(对于小型集群)运行在同一机器上,或者运行在一个专有机器上;同时也有节点管理器运行在集群中的每 个工作节点上。

YARN的start-yarn.sh脚本(在sbin目录下)启动集群中的YARN守护进程。该脚本会在脚本所运行的机器上启动资源管理器,还在slaves文件列举的 每台机器上各启动一个节点管理器。

YARN还有一个作业历史服务器和一个Web应用程序代理服务器。前者可显示历史作业的执行细节,后者可使用户安全地访问YARN应用的用户界面。在MapReduce案例中,Web用户界面提供当前正在运行的作业信息,与5.5.3节所描述的类似。在默认情况下,Web应用程序代理服务器和资源管理器在同一进程中运行,但是,也可以将Web应用程序代理服务器配置
成一个单独运行的守护进程。

表9-8列举了 YARN所特有的配置文件,这些文件可作为表9-1中文件的 补充。

表9-8.YARN的配置文件

文件名称

格式

说明

yarn-env.sh

bash脚本

运行YARN的脚本所使用的环境变量

yarn-site.xml

Hadoop配置XML

YARN守护进程的配置设置:资源管理器、作业历史服务器、Web应用程序代理服务器和节点管理器

转载请注明:全栈大数据 » 9.5 YARN 配置

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址