整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

6.4. shuffle 和排序

hadoop 小红牛 7℃ 0评论

MapReduce确保每个reducer的输入都是按键排序的。系统执行排序的过程 (即将map输出作为输入传给reducer)称为shuffle。在此,我们将学习shuffle是如何工作的,因为它有助于我们理解工作机制(如果需要优化 MapReduce程序)shuffle属于不断被优化和改进的代码库的一部分,因此下面的描述有必要隐藏一些细节(也可能随时间而改变,目前是0.20版本)。从许多方面来看,shuffleMapReduce的“心脏”,是奇迹发生的地方。

转载请注明:全栈大数据 » 6.4. shuffle 和排序

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址