整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

7.2.5. 数据库输入(和输出)

hadoop 花牛 40℃ 0评论

DBInputFormat这种输入格式用于使用JDBC从关系数据库中读取数据。因为它没有任何共享能力,所以在访问数据库的时候必须非常小心,在数据库中运行太多的mapper读数据可能会使数据库受不了。正是由于这个原因,DBInputFormat最好用于加载小量的数据集,如果需要与来自HDFS 的大数据集连接,要使用Multiplelnputs。与之相对应的输出格式是 DBOutputFormat,它适用于将作业输出数据(中等规模的数据)转储到数 据库。®

在关系数据库和HDFS之间移动数据的另一个方法是:使用Sqoop,具体描述见第15章。

HBase的TablelnputFormat的设计初衷是让MapReduce程序操作存放在HBase表中的数据。而TableOutputFormat则是把MapReduce的输出写到 HBase 表。

转载请注明:全栈大数据 » 7.2.5. 数据库输入(和输出)

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址