整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

10.3维护 10.3.1 日常管理过程

1.元数据备份

如果namenode的永久性元数据丢失或损坏,则整个文件系统无法使用。因 此,元数据备份非常关键。可以在系统中分别保存若干份不同时间的备份 (例如,1小时前、1天前、1周前或1个月前),以保护元数据。方法一是 直接保存这些元数据文件的复本;方法二是整合到namenode上正在使用的 文件中。

最直接的元数据备份方法是利用脚本文件定期将辅助namenode的previous.checkpoint子目录存档,放到异地站点。注意,该子目录放在 fs.checkpoint.dir属性定义的目录之中。此外,还需测试复本的一致 性。测试方法很简单,只要启动一个本地namenode守护进程,査看它是否 能够将fsimage和edits文件载入内存(例如,扫描namenode日志以获得操作成功信息)。®

2.数据备份

尽管HDFS已经充分考虑了如何可靠地存储数据,但是正如任何存储系统 一样,仍旧无法避免数据丢失。因此,备份机制就很关键。Hadoop中存储 着海量数据,判断哪些数据需要备份以及在哪里备份就极具挑战性。关键 在于为数据划分不同优先级。那些无法重新"生成的数据的优先级最高,这 些数据对业务非常关键。同理,可再生数据和一次性数据商业价值有限,所 以优先级最低,无需备份。

不要误以为HDFS的复本技术足以胜任数据备份任务。HDFS的程序批漏、硬件故障都可能导致复本丢失。尽管Hadoop的设计方案可 确保硬件故障极不可能导致数据丢失,但是这种可能性无法完全排 除,特别是软件bug和人工误操作情况在所难免。

再比较HDFS的备份技术和RAID。RAID可以确保在某一个RAID 盘片发生故障时数据不受损坏。但是,如果发生RAID控制器故 障、软件纰漏(可能重写部分数据)或整个磁盘阵列故障,数据肯定会丢失。

通常情况下,HDFS的用户目录还会附加若干策略,例如目录容量限制和夜 间备份等。用户需要熟悉相关策略,才可预料执行结果。

distcp是一个理想的备份工具,其并行的文件复制功能可以将备份文件存储 到其他HDFS集群(最好软件版本不同,以防Hadoop软件纰漏而丢失数据) 或其他Hadoop文件系统(例如S3或KFS)。此外,还可以用3.4节提到的方 法将数据从HDFS导出到完全不同的存储系统中。

3.文件系统检查(fsck) 

建议定期地在整个文件系统上运行HDFS的fsck(文件系统检査)工具(例 如,每天执行),主动査找丢失的或损坏的块。参见10.1.5节的详细介绍。

4.文件系统均衡器

定期运行均衡器工具(参见10.1.4节对均衡器的详细介绍),保持文件系统的 各个datanode比较均衡。

转载请注明:全栈大数据 » 10.3维护 10.3.1 日常管理过程

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址