整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

4.4.9其他语言的 Avro MapReduce

hadoop 花牛 12℃ 0评论

除了 Java语言之外,还有其他语言也可以使用Avro数据。

AvroAsTextlnputFormat 被设计用来允许 Hadoop Streaming 程序读取 Avro数据文件。文件中的每条数据均被转化为一个字符串,通过JSON格式表示,或者是原始字节(如果是Avro bytes类型的话)。另一方面,你可以指定AvroTextOutputFormat作为Streaming作业的输出格式,并按照bytes模式创建Avro数据文件,其中每条记录是从Streaming输出的、由制表符分隔的键值对。这两个类均可以在org.apache.avro.mapred包中找到。

针对比Streaming更复杂的接口,Avro提供了一个连接框架(在org.apache.avro.mapred.tether包中),该框架与 Hadoop Pipe类似。在写作本书的时候,依旧役有绑定其他语言,但是Python实现将在以后的发行版本中出现。

还值得考虑通过Pig和Hive来处理Avro数据文件,因为两者均可以通过指定适合的数据存储格式来读/写Avro数据文件。

转载请注明:全栈大数据 » 4.4.9其他语言的 Avro MapReduce

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址