整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

7.3.4. 延迟输出

hadoop 花牛 75℃ 0评论

FileOutputFormat的子类会产生输出文件(part-r-nnnnn)即使文件是空的。有些应用倾向于不创建空文件,此时LazyOutputFormat就有用武之地了。它是一个封装输出格式,可以保证指定分区第一条记录输出时才真正创建文件。要使用它,用JobConf和相关的输出格式作为参数来调用 setOutputFormatClass()方法即可。

Streaming 和 Pipes 支持-LazyOutput 选项来启用 LazyOutputFormat功能。

转载请注明:全栈大数据 » 7.3.4. 延迟输出

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址