整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

第六章 MapReduce的工作机制 6.1剖析MapReduce作业运行机制

hadoop 小红牛 9℃ 0评论

MapReduce的工作机制

在本章中,我们将深入学习Hadoop中的MapReduce工作机制。这些知识 将为我们随后两章学习编写MapReduce高级编程奠定基础

可以通过一个简单的方法调用来运行MapRedece作业:]ob对象上的 submit()。注意,也可以调用waitFoKompletion(),它用于提交以前 没有提交过的作业,并等待它的完成®submit()方法调用封装了大量的 处理细节。本小节将揭示Hadoop运行作业时所采取的措施。

我们在第5章中看到Hadoop执行MapReduce程序的方法依赖干两个配置 设置。

在目前的版本以及0.20版本系列中,mapred. job.tracker决定了执行 MapReduce程序的方式。如果这个配置属性被设置为local(默认值),则使 用本地的作业运行器。运行器在单个JVM上运行整个作业。它被设计用来 在小的数据集上测试和运行MapReduce程序。

如果mapred.job.tracker被设置为用冒号分开的主机和端口对(主机:端 口),那么该配置属性就被解释为一个jobtmcker地址,运行器则将作业提 交给该地址的jobtracker。下一节将具体描述整个过程。

Hadoop 2.0引入了一种新的执行机制。这种新机制(称为MapReduce 2)建立 ①在老版本的 MapReduceAPI 中,可以调用]obClient.submit]ob(conf)]obClient.run]ob(conf)

在一个名为YARN®的系统上。目前,用于执行的 框架通过mapreduce.framework.name属性进行设置,值local表示本地的 作业运行器,“classic”表示经典的MapReduce框架(也称MapReduce 1,它使用一个jobtracker和多个tasktracker)yarn表示新的框架。新旧版本MapReduce API之间的区别不同于经典的MapReduce执行 框架和基干YARNMapReduce执行框架(分别是MapReduce 12)的区别。API具有面向用户的、客户端的特性,并且决定着用户怎 样写MapReduce程序,而执行机制只是运行MapReduce程序的不同 途径而已。新旧版本AP丨在MapReduce 12运行的四种组合都是 支持的。第1章的表1-2列出了 $同的Hadoop版本支持的组合 情况。

转载请注明:全栈大数据 » 第六章 MapReduce的工作机制 6.1剖析MapReduce作业运行机制

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址