整套大数据学习资料(视频+笔记)百度网盘无门槛下载:http://www.edu360.cn/news/content?id=3377

第15章 关于Sqoop

(作者:Aaron Kimball)

Hadoop平台的最大优势在于它支持使用不同形式的数据。HDFS能够可靠 地存储日志和来自不同渠道的其他数据,MapReduce程序能够解析多种 “即席”(ad hoc)数据格式,抽取相关信息并将多个数据集组合成非常有用 的结果。

但是为了能够和HDFS之外的数据存储库进行交互,MapReduce程序需要 使用外部API来访问数据。通常,一个组织中有价值的数据都存储在关系 型数据库系统(RDBMS)等结构化存储器中。Apache Sqoop是一个开源工 具,它允许用户将数据从结构化存储器抽取到Hadoop中,用于进一步的处 理。抽取出的数据可以被MapReduce程序使用,也可以被其他类似于Hive 的工具使用。(甚至可以使用Sqoop将数据从数据库转移到HBase。)一旦生 成最终的分析结果,Sqoop便可以将这些结果导回数据存储器,供其他客户 端使用。

在本章中,我们将了解Sqoop是如何工作的,并且学习如何在数据处理过 程中使用它。

转载请注明:全栈大数据 » 第15章 关于Sqoop

喜欢 (1)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址