整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

9.4.4 Hadoop守护进程的地址和端口

hadoop 小红牛 11℃ 0评论

Hadoop守护进程一般同时运行RPCHTTP两个服务器,RPC服务器(表 9-5)支持守护进程间的通信,HTTP服务器则提供与用户交互的Web页面 (9-6)。需要分别为各个服务器配置网络地址和端口号。当网络地址被设 0.0.0.0时,Hadoop将与本机上的所有地址绑定。用户也可以指定服务器与某一个地址相绑定。端口号0表示服务器会选择一个空闲的端口号: 但由于这种做法与集群范围的防火墙策略不兼容,通常不推荐。

表9-5.RPC服务器的属性

属性名称

默认值

说明

fs.default.name

file:///

被设为一个HDFS的URI 时,该属性描述namenode 的RPC服务器地址和端 口。若未指定,则默认的 端口号是8020

dfs.datanode.ipc.address

0.0.0.0:50020

datanode的RPC服务器的 地址和端口

mapred.job.tracker

local

被设为主机名称和端口号 W,该属佳指走jobtracker 的RPC服务器地址和端口。常用的端口号是8021

mapred.task.tracker.report.address

127.0.0.1:0

tasktracker 的 RPC 服务器 地址和端口号。tasktracker 的子JVM利用它和 tasktracker通信。在本例 中,使用任一空闲端口均是可行的,因为服务器仅绑定回送地址。仅当本机 没有回送地址时才需要变更 默认设置

除了 RPC服务器之外,各个datanode还运行TCP/IP服务器以支持块传输。服务器地址和端口由属性dfs.datanode.address设定,默认值是0.0.0.0:50010。

表9-6.HTTP服务器的属性

属性名称

默认值

说明

mapred.job.tracker.http.address

0.0.0.0:50030

jobtracker 的 HTTP 服务器地址和端口

mapred.task.tracker.http.address

0.0.0.0:50060

tasktracker 的 HTTP 服务器地址和端口

dfs.http.address

0.0.0.0:50070

namenode的HTTP服务器地址和端口

dfs.datanode.http.address

0.0.0.0:50075

datanode的HTTP服务器地址和端口

dfs.secondary.http.address

0.0.0.0:50090

辅助namenode的HTTP服务器地址和端口

有多个网络接口时,还可以选择某一个网络接口作为各个datanode和tasktracker的IP地址针对HTTP和RPC服务器)。相关属性包括dfs.datanode.dns.interface和mapred.tasktracker.dns.interface,默认值都是default表示使用默认的网络接口。可以修改这两个属性项 来变更网络接口的地址(例如eth0)。


转载请注明:全栈大数据 » 9.4.4 Hadoop守护进程的地址和端口

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址