整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

8.5. MapReduce 库类

hadoop 小红牛 28℃ 0评论

Hadoop还为mapper和reducer提供了一个包含了常用函数的库。表8-8简要描述了这些类。如需了解详细用法,可参考相关Java文档。

8-8. MapReduce 库的类

 

 

类名称

描述

ChainMapper, ChainReducer

在一个mapper中运行多个mapper,再运行—个reducer,最后在一个reducer中运行多个mapper。符号表示:M+RM*,其中M是mapper,R是reducer。与运行多个MapReduce作业相比,该方案能够显著降低磁盘I/O开销

FieldSelectionMapReduce(旧版 API) FieldSelectionMapper 和 FieldSelectionReducer (新版 API)

能从输入键和值中选择字段(类似Unix的 cut命令),并输出键和值的mapper和 reducer

IntSumReducer, LongSumReducer

对各键的所有整数值执行求和操作的 reducer

InverseMapper

一个能交换键和值的mapper

MultithreadedMapRunner (旧版API)

MultithreadedMapper (新版API)

一个能在多个独立线程中分别并发运行

mapper的mapper(或者旧版API中的map runner)。该技术对于非CPU受限的mapper

比较有用

TokenCounterMapper

将输入值分解成独立的单词(使用Java的StringTokenizer)并输出每个单词和计数值1的mapper

RegexMapper

检査输入值是否匹配某正则表达式,输出

匹配字符串和计数1的mapper

转载请注明:全栈大数据 » 8.5. MapReduce 库类

喜欢 (1)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址