整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

4.1.3. ChecksumFileSystem

hadoop 花牛 6℃ 0评论

LocalFileSystem通过ChecksumFileSystem来完成自己的任务,有了这个类,向其他文件系统(无校验和系统)加入校验和就非常简单,因为ChecksumFileSystem类继承自 FileSystem类。一般用法如下:

FileSystem rawFs =...
FileSystem checksummedFs = new ChecksumFileSystem(rawFs);

底层文件系统称为“源”(raw)文件系统,可以使用ChecksumFileSystem 实例的getRawFileSystem()方法获取它。ChecksumFileSystem 类还有其他一些与校验和有关的有用方法,比如getChecksumFile()可以获得任意一个文件的校验和文件路径。请参考文档了解其他方法。

如果ChecksumFileSystem类在读取文件时检测到错误,会调用自己的reportChecksumFailure()方法。默认实现为空方法,但 LocalFileSystem类会将这个出错的文件及其校验和移到同一存储设备上一个名为bad_files的边际文件夹(side directory)中。管理员应定期检査这些坏文件并采取相应的行动。

 

转载请注明:全栈大数据 » 4.1.3. ChecksumFileSystem

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址