整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

9.7利用基准评测程序测试Hadoop集群

hadoop 小红牛 13℃ 0评论

集群是否已被正确建立?这个问题最好通过实验来回答:运行若干作业,
并确信获得了预期结果。基准评测程序能获得满意的测试结果,用户可以 拿结果数据和其他集群做比较,以检测新集群是否达到预期效果。此外,
还可以据此调整集群设置以优化整体性能。这点一般通过监控系统实现(参 见10_2节),用户可以监测集群中的资源使用情况。

为了获得最佳评测结果,最好不要在运行基准评测程序时还同时运行其他
任务。换言之,在集群入役之前进行评测最为合适,此时用户尚未对集群 有依赖性。一旦用户已经依赖集群执行常规性作业,想要找到集群完全空
闲的时间就非常困难了 (除非和所有其他用户协商一个停止服务的时间段)。 总而言之,基准评测程序最好在此之前就执行。

实践表明,硬盘驱动器故障是新系统最常见的硬件故障。通过运行含有高 强度I/O操作的基准评测程序一例如即将提到的基准评测程序——就能在 系统正式上线前对集群做“烤机”测试。

转载请注明:全栈大数据 » 9.7利用基准评测程序测试Hadoop集群

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址