整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

5.5.3 MapReduce的Web界面

hadoop 小红牛 7℃ 0评论

HadoopWeb界面用来浏览作业信息,对于跟踪作业运行进度、查找作业完成后的统计信息和日志非常有用。可以在找到用户界面信息。

1_jobtracker页面

ip-10-250-110-47 Hadoop Map/Reduce Administration

State.* HMNMNH

St»rt«d;SatApr U 0«rJl 53 EOT ?000 ,

V*r*Um:O_2D 0, "63504

ComjrfkrtlAor&05^18s*& UTC 2f»S t>y rvWifiy

W#n"fl2〇〇«>川〇0”

Clutter Summary (Heap Sizeis53.75 MB/888.94 MB)

 

 

 

5-1给出了主页的截屏。第一部分是Hadoop的安装细节,包括版本号、编译时间和jobtracker的当前状态(在本例中,状态是running)和启动时间。

 

j Qu»u« NAme

I ScIviduilng information |

i

FUt»f (Jobid, PrktrUy,Nam*)

tLmimht.:utiu;:!tmv< Hiiiitso^–9»i^ 0>

 

 

JoWd iPrtortty iNOOMAL

U*w

Qornci

otwpsI.

M«p%

Ccwttpl

W".w

Ms

C»«pl«W>

,M_…

««ducc%R«kJuc«Retfwos,;Job SchwJuHnSfXtit»i \Cmi«40() ; irtlrm«tkm

100I30U\na

:;;:

 

 

5-1 •jobtracker页面的屏薄截图

 

接下来是关于集群的概要信息,包括集群的负载情况和使用情况。这表明当前正在集群上运行的mapreduce的数量,作业提女的数量,可用的tasktracker节点数和集群的负载能力,集群中可用mapreduce的任务槽数“MapTaskCapacity”和“ReduceTaskCapacity”),每个节点平均可用的任务槽数。被jobtracker列入黑名单的tasktrackers数也被列出,关于黑名单的详细信息,请参见6.2.1节中对tasktracker失败的论述。

概要信息的下面是正在运行的作业调度器的相关信息(此处是“默认值”)。 可以单击査看作业队列。

随后,显示的是正在运行、(成功地)完成和失败的作业。每部分都有一个作业表,其中每行显示作业的ID、所属者_、作业名(使用obConfset]obName()方法设置的mapred. job.name属性)和进度信息。

最后,页面的底部是一些链接信息,指向jobtracker日志和jobtracker历史信息:记录jobtracker运行过的所有作业的信息。在作业存储到历史信息页之前,主页上只显示100个作业(通过maprecLjobtracker. completeuserjobs.maximum属性来配置)。注意,作业历史是永久存储的,因此,可以从以前运行的jobtracker中找到作业。

作业历史

作业历史包括已完成作业的事件和配置信息。不管作业是否成功执行,作业历史都将保存下来,为运行作业的用户提供有用信息。

作业历史文件存放在jobtracker本地文件系统中logs目录的子目录中。通过hadoop.job.history.location属性来设置历史文件存放在Hadoop文件系统的任意位置。jobtracker的历史文件会保存30天,随后被系统删除。

作业输出目录下的_/ogs/7ni/or_v子目录为用户存放第二个备份。这个存放位置可以通过设置hadoop.job.history.user.location进行覆盖。如果将其值设置为特殊值none,则不会有用户作业历史被保存,虽然作业历史仍然是集中存放的。用户的作业历史文件不会被系统删除。

历史日志包括作业、任务和尝试事件,所有这些信息以纯文本方式存储。特殊作业的历史可以通过Web界面或在命令行方法下用hadoop job -history(指定的作业输出目录中)查看。

作业运行期间,可以在作业页面监视作业进度,页面信息会定期自动更新。摘要信息下方的表展示mapreduce进度NumTask显示该作业mapreduce的总数。其他列显示的是这些任务的状态:Pending(等待运行)、RunningComplete(成功完成)和Killed(失败任务——用Failed标记更准确)。最后一列显示的是一个作业所有mapreduce任务中失败和中止的taskattempt总数(taskattempt可标记为killed,原因可能是:它们是推测执行的副本6.2.1节对任务失败进行了详细的讨论。taskattempt运行的tasktracker已结束,或这些taskattempt已被用户中止)。

在该页面的随后部分,可以找到显示每个任务进度的完成图。reduce完成图被分为reduce任务的三个阶段:copy(map输出传输到reducetasktracker时)、sort(合并reduce输入时)和feduce(reduce函数运行产生最后输出时)。这些阶段的详细描述参见6.4节。

在该页的中间部分是作业计数器表。这些信息在作业运行期间动态更新,为作业进度和整体健康程度提供另一个有用的信息。关于这些计数器的详细信息,请参见8.1.1节。

转载请注明:全栈大数据 » 5.5.3 MapReduce的Web界面

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址