整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

6.4.2. reduce端

hadoop 小红牛 8℃ 0评论

现在转到处理过程的reduce部分。map输出文件位于运行map任务的 tasktracker的本地磁盘(注意,尽管map输出经常写到map tasktracker的本地磁盘,但reduce输出并不这样),现在,tasktracker需要为分区文件运行reduce任务。而且,reduce任务需要集群上若干个map任务的map输出作为其特殊的分区文件。每个map任务的完成时间可能不同,因此只要有一个任务完成,reduce任务就开始复制其输出。这就是reduce任务的复制阶段。reduce任务有少量复制线程,因此能够并行取得map输出。默认值是 5个线程,但这个默认值可以通过设置mapred. reduce.parallel.copies 属性来改变。

reducer如何知道要从哪台机器取得map输出呢?

map任务成功完成后,它们会通知其父tasktracker状态已更新,然后 tasktracker 进而通知 jobtracker。(在 MapReduce 2 中,任务直接通知其应用程序master。)这些通知在前面介绍的心跳通信机制中传输。因此,对于指定作业,jobtracker(或应用程序master)知道map输出和tasktracker之间的映射关系。reducer中的一个线程定期询问jobtracker以便获取map输出的位置,直到获得所有输出位置。

由于第一个reducer可能失败,因此tasktracker并没有在第一个 reducer检索到map输出时就立即从磁盘上删除它们。相反, tasktracker会等待,直到jobtracker告知它删除map输出,这是作业完成后执行的。

如果map输出相当小,会被复制到reduce任务JVM的内存(缓冲区大小由mapred.job.shuffle.input.buffer.percent属性控制,指定用于此用途的堆空间的百分比),否则,map输出被复制到磁盘。一旦内存缓冲区达到阈值大小(由mapred.job.shuffle.merge.percent决定)或达到map输出阈值(由mapred.inmem.merge.threshold控制),则合并后溢出写到磁盘中。如果指定combiner,则在合并期间运行它以降低写入硬盘的数据量。

随着磁盘上副本增多,后台线程会将它们合并为更大的、排好序的文件。 这会为后面的合并节省一些时间。注意,为了合并,压缩的map输出(通过 map任务)都必须在内存中被解压缩。

复制完所有map输出后,reduce任务进入排序阶段(更恰当的说法是合并阶段,因为排序是在map端进行的),这个阶段将合并map输出,维持其顺序排序。这是循环进行的。比如,如果有50map输出,而合并因子是 1(丨〇为默认设置,由io.sort.factor属性设置,与map的合并类似),合并 将进行5趟。每趟将10个文件合并成一个文件,因此最后有5个中间文件。

在最后阶段,即reduce阶段,直接把数据输入reduce函数,从而省略了一 次磁盘往返行程,并没有将这5个文件合并成一个已排序的文件作为最后 一趟。最后的合并可以来自内存和磁盘片段。

reduce阶段,对已排序输出中的每个键调用reduce函数。此阶段的输出直接写到输出文件系统,一般为HDFS。如果采用HDFS,由于tasktracker节点(或节点管理器)也运行数据节点,所以第一个块复本将被写到本地磁盘。

每趟合并的文件数实际上比示例中展示有所不同。目标是合并最小 数量的文件以便满足最后一趟的合并系数。因此如果有40个文件,

我们不会在四趟中每趟合并10个文件从而得到4个文件。相反,第 一趟只合并4个文件,随后的三趟合并所有10个文件。在最后一趟 中,4个已合并的文件和余下的6(未合并的)文件合计10个文 件。该过程如图6-7所述。

注意,这并没有改变合并次数,它只是一个优化措施,目的是尽量 减少写到磁盘的数据量,因为最后一趟总是直接合并到reduce

blob.png 

6-7 通过合并因子10有效地合并40个文件片段

转载请注明:全栈大数据 » 6.4.2. reduce端

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址