整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

9.4 Hadoop 配置

hadoop 小红牛 10℃ 0评论

有多个配置文件适用于Hadoop安装,表9-1列举了最重要的几个文件。本节讨论MapReduce 1,可配置jobtrackertasktracker守护进程。有关 MapReduce 2的安装配置与运行MapReduce 1明显不同,请参考9.5节。

这几个重要文件都放在Hadoop分发包的conf目录中。配置目录被重新放 在文件系统的其他地方(Hadoop安装的外面,以便于升级),但是守护 进程启动时需要使用–config选项,以指向本地文件系统的某个目录。

表9-1.Hadoop配置文件

文件名称

格式

描述

hadoop-env.sh

Bash脚本

记录脚本中要用到的环境变a,以运行 Hadoop

core-site.xml

Hadoop 配置 XML

Hadoop Core的配置项,例如HDFS和 MapReduce常用的I/O设置等

hdfs-site.xml

Hadoop 配置 XML

Hadoop守护进程的配置项,包括 namenode、辅助 namenode 和 datanode 等

mapred-site.xml

Hadoop 配置 XML

MapReduce守护进程的配置项,包括 jobtracker 和 tasktracker(每行一个)

masters

纯文本

运行辅助namenode的机器列表(每行一个)

slaves

纯文本

运行datanode和tasktracker的机器列表(每行一个)

hadoop-metrics.properties

Java属性

控制如何在Hadoop上发布度量的属性(参见10.2.2 节)

log4j.properties

Java属性

系统日志文件、namenode审计日志、 tasktracker子进程的任务日志的属性(参见 5.5.6 节)

 

转载请注明:全栈大数据 » 9.4 Hadoop 配置

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址