整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

16.5.5灵活性

hadoop 花牛 10℃ 0评论

回顾一下,让我们来看看这个新的模型给我们带来了什么好处或消除了哪些不足。

可以看出,我们不必再用MapReduce作业模式来考虑问题,或考虑Mapper Reducer接口的实现问题,后续的MapReduce作业和前面的MapReduce 作业如何绑定或链接。在运行的时候,Cascading “规划器”(planner)会算 出最优的方法把管道装配线切分成MapReduce作业,并管理作业之间的链 接(图 16-18)

 image.png

图16-18.怎么把Flow变成链式MapReduce作业

因此,开发者可以以任何粒度来构造自己的应用程序。它们可以一开始就 只是一个很小的做日志文件过滤处理的应用程’序,并且以后可以根据需要 不断增添新的功能。

Cascading是一个API而不是类似SQL的字符串句法,因此它更灵活。首 先,开发者能用他们熟悉的语言创建特定领域语言(domain-specific language, DSL),像 Groovy, JRuby, JythonScala 等(示例参见项目网 站)。其次,开发者能对Cascading不同的部分进行扩展,例如允许对自定 义ThriftJSON对象进行读写,并且允许它们以元组数据流的形式传输。

转载请注明:全栈大数据 » 16.5.5灵活性

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址