整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

6.3.1. 公平调度器

hadoop 小红牛 8℃ 0评论

公平调度器的目标是让每个用户公平共享集群能力。如果只有一个作业在 运行,就会得到集群的所有资源。随着提交的作业越来越多,闲置的任务槽会以“让每个用户公平共享集群”这种方式进行分配。某个用户的耗时短的作业将在合理的时间内完成,即便另一个用户的长好间作业正在运行而且还在运行过程中。

作业都放在作业池中,在默认情况下,每个用户都有自己的作业池。提交作业数较多的用户,不会因此而获得更多的集群资源。可以用mapreduce的任务槽数来定制作业池的最小容量,也可以设置每个池的权重。

公平调度器支持抢占机制,所以,如果一个池在特定的一段时间内未能公平共享资源,就会中止运行池中得到过多资源的任务,把空出来的任务槽让给运行资源不足的作业池。

公平调度器是一个后续模块。要使用它,需要将其JAR文件放在Hadoop 的类路径(classpath),即将它从Hadoopcontrib/fairscheduler目录复制到lib目录。随后,像下面这样设置mapred.jobtracker.taskScheduler属性:

org.apache.hadoop.mapred.FairSchedulen

经过这样的设置后,即可运行公平调度器。但要想充分发挥其特有的优势 和了解如何配置(包括它的网络接口),请参阅Hadoop发行版 src/contrib/fairscheduler目录下的 README 文件。

转载请注明:全栈大数据 » 6.3.1. 公平调度器

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址