整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

​5.5 在集群上运行

hadoop 小红牛 7℃ 0评论

目前,程序已经可以在少量测试数据上正确运行,下面可以准备在Hadm>p

 

集群的完整数据集上运行了。第9章将介绍如何建立完全分布的集群,同 时,该章中的方法也可以用在伪分布集群上。

10000时,不能重新设置,导致作业ID更长(这些1D不能很好地排序)。

任务属于作业,任务ID通过替换作业ID的作业前缀为任务前缀,然后加上一个后缀表示哪个作业里的任务。例如:task_200904110811_ 0002_m_000003表示IDjob_200904110811_0002的作业的第4i

map任各(000003,任务ID0开始计数)。作业的任务ID在初始化时产生,因此,任务ID的顺序不必是任务执行的顺序。

由于失败(参见6.2节)或推测执行(参见6.5.2),任务可以执行多次, 所以,为了标识任务执行的不同实例,任务尝试都会被指定一个在jobtracker上唯一的ID.如:attempt_200904110811_0002_m_000003_0表示正在运行的task_200904110811_0002_m_000003任务的第一}attemp(0,attemptID0开始计数)。任务尝试在作业运行时根据 需要分配,所以.,它们的顺序代表t

转载请注明:全栈大数据 » ​5.5 在集群上运行

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址