整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

5.7MapReduce的工作流

hadoop 小红牛 7℃ 0评论


至此,你已经知道MapReduce应用开发的机制了。我们目前还未考虑如何将数据处理问题转化成MapReduce模型。本书前面的数据处理都用来解决十分简单的问题(如在指定年份找到最高气 温值的记录)。如果处理过程更复杂,这种复杂度一般是因为有更多的

 

MapReduce作业,而不是更复杂的mapreduce函数。换而言之,通常是增加更多的作业,而不是增加作业的复杂度。

对干更复杂的问题,可考虑使用比MapReduce更高级的语言,如PighiveCascadingCascalogCrunch。一个直接的好处是:有了它之后,就用不着处理到MapReduce作业的转换,而是集中精力分析正在执行的任务。

最后JimmyLinChrisDyer合著的《MapReduce数据密集型文本处理》7fcc/w/7/7—书是学习MapReduce算法

设计的优秀资源,强烈推荐。该书由Morgan&Claypool出版社于2010出 版,网址为we/。

转载请注明:全栈大数据 » 5.7MapReduce的工作流

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址