整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

10.1.2安全模式

namenode启动时,首先将映像文件(/Wwage)载人内存,并执行编辑日志 (以心)中的各项操作。一且在内存中成功建立文件系统元数据的映像,则创 建一个新的/hwage文件(该操作不需要借助辅助namenode)和一个空的编辑 日志。此时,namenode开始监听RPCHTTP请求。但是此刻namenode 运行在安全模式,即namenode的文件系统对于客户端来说是只读的。

严格来说,在安全模式下,只有那些访问文件系统元数据的文件系统操作是肯定成功执行的,例如显示目录列表等。对于读文件操作 来说,只有急群众当前datanode上的块可用时,才能够工作,但文 件修改操作(包括写、删除或重命名)均会失败。

需要强调的是,系统中数据块的位置并不是由namenode维护的,而是以块 列表的形式存储在datanode中。在系统的正常操作期间,namenode会在内 存中保留所有块位置的映射信息。在安全模式下,各个datanode会向 namenode发送最新的块列表信息,namenode 了解到足够多的块位置信息之 后,即可高效运行文件系统。如果namenode认为向其发送更新信息的 datanode节点过少,则它会启动块复制进程,以将数据块复制到新的 datanode节点。然而,在大多数情况下上述操作都是不必要的(因为实际上 namenode只需继续等待更多datanode发送更新信息即可),并浪费了集群的 资源。实际上,在安全模式下namenode并不向datanode发出任何块复制或 块删除的指令。

如果满足“最小复本条件minimal replication condition), namenode 会在 30秒钟之后就退出安全模式。所谓的最小复本条件指的是在整个文件系统 中有99.9%的块满足最小'复本级别(默认值是1,由dfs. replication.min 属性设置,参见表10-1)。  

在启动一个刚刚格式化的HDFS集群时,因为系统中还没有任何块,所以 namenode不会进入安全模式。

进入和离开安全模式

为了查看namenode是否处于安全模式,可以像下面这样使用dfsadmin命令:

% hadoop dfsadmin -safemode get
Safe mode is ON

HDFS的网页界面也能够显示namenode是否处于安全模式。

表10-1.安全模式的属性

属性名称

类型

默认值

说明

dfs.replication.min

int

1

成功执行操作所需要创建的最少复本数目(也称为最小复本级别)

dfs. safemode .threshold. pct

float

0.999

namenode退出安全模式之前,系统中满足最小复本级别(由dfs.replication.min定义)的块的比例。将这项值设为0或更小会令namenode无法启动安全模式;设为高于1则永远不会退出安全模式

dfs. safemode.extension

int

3000

在满足最小复本条件(由dfs.safemode.threshold.pct定义)之后,namenode还需要处于安全模式的时间(以毫秒为单位)。对于小型集群(几十个字节点)来说,这项值可以设为0

有时用户会期望在执行某条命令之前namenode先退出安全模式,特别是在 脚本中。使用wait选项能够达到这个目的:

hadoop dfsadmin -safemode wait
# command to read or write a file

管理员随时可以让namenode进人或离开安全模式.这项功能在维护和升级 集群时非常关键,因为需要确保数据在指定时段内是只读的。使用以下指令 进入安全模式:

% hadoop dfsadmin -safemode enter
Safe mode is ON

前面提到过,namenode在启动阶段会处于安全模式。在此期间也可使用这 条命令,从而确保namenode在启动完毕之后不离开安全模式。另一种使 namenode永远处于安全模式的方法是将属性dfs.safemode.threshold.pet

的值设为大于1。


运行以下指令即可离开安全模式:

% hadoop dfsadmin -safemode leave
Safe mode is OFF

转载请注明:全栈大数据 » 10.1.2安全模式

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址