整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

6.5. 任务的执行 5.1. 任务执行环境

hadoop 小红牛 8℃ 0评论

在本小节,我们将了解 MapReduce用户对任务执行的更多的控制。

Hadoopmap任务或reduce任务提供运行环境相关信息。例如,map任务可以知道它处理的文件的名称(参见7.2.2节),map任务或reduce任务可以得知任务的尝试次数。表6-3中的属性可以从作业的配置信息中获得,通过为mapperreducer提供一个configure()方法实现(其中,配置信息作为参数进行传递),便可获得这一信息。在新版本的API中,这些属性可以从传递给MapperReducer的所有方法的相关对象中获取。

6-3.任务执行环境的属性

属性名称

类型

说明

范例

mapred.job.id

string

作业ID

job_200811201130_0004

mapred.tip.id

string

任务ID

task_200811201130_ 0004_m_000003

mapred.task.id

string

任务尝试ID

(非任务ID)

attempt_2008112011300004_m_000003_0

mapred.task.partition

int

作业中任务ID

3

mapred.task.is.map

boolean

此任务是否是map任务

true

 

Streaming环境变量

Hadoop设置作业配置参数作为Streaming程序的环境变量。但它用下划线来代替非字母数字的符号,以确保名称的合法性。下面这个Python Streaming脚本解释了如何用Python Streaming 脚本来检索 mapred. job.id 属性的值。

os.environ ["mapred_Job_id"]

也可以应用Streaming启动程序的-cmdenv选项,来设置MapReduce所启动的Streaming进程的环境变量(一次设置一个变量)。比如,下面的语句设置了MAGIC_PARAMETER环境变量:

-cmdenv MAGIC_PARAMETER=abracadabra



转载请注明:全栈大数据 » 6.5. 任务的执行 5.1. 任务执行环境

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址