整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

3.2.3. 联邦 HDFS

hadoop 花牛 8℃ 0评论

namenode在内存中保存文件系统中毎个文件和每个数据块的引用关系,这 意味着对于一个拥有大量文件的超大集群来说,内存将成为限制系统横向 扩展的瓶颈(参见9.4.2节)。在2.x发行版本系列中引入的联邦HDFS允许 系统通过添加namenode实现扩展,其中每个namenode管理文件系统命名 空间中的一部分。例如,一个namenode可能管理/user目录下的所有文件, 而另一个namenode可能管理/share目录下的所有文件。

 

在联邦环境下,每个namenode维护一个命名空间卷(namespace volume), 包括命名空间的源数据和在该命名空间下的文件的所有数据块的数据块 池。命名空间卷之间是相互独立的,两两之间并不相互通信,甚至其中一个namenode的失效也不会影响由其他namenode维护的命名空间的可用性。数据块池不再进行切分,因此集群中的datanode需要注册到每个 namenode,并且存储着来自多个数据块池中的数据块。

要想访问联邦HDFS集群,客户端需要使用客户端挂载数据表将文件路径 映射到namenode。该功能可以通过ViewFileSystem和viewfs: //URI进行配置和管理。

转载请注明:全栈大数据 » 3.2.3. 联邦 HDFS

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址