您的位置:首页 > 运维架构 > 网站架构

1.sqoop概念,功能,架构,版本

2017-04-29 10:37 204 查看
1.sqoop概念

sqoop(SQL TO HADOOP),是hadoop的协作框架之一



2.功能

对于hadoop进行大数据处理的数据来源主要有两部分

(1)关系数据库,RDBMS(Oracle,MySQL,DB2…)

(2)文件(apache,nginx日志数据)

hadoop 对于大数据的处理,是将数据存储在HDFS上,sqoop的功能就是将RDBMS中的数据导入HDFS,或者将HDFS中的数据导出到RDBMS。对于文件系统中的数据导入HDFS,可以使用Flume(实时抽取)。

sqoop以Hadoop 为主体,RDBMS为客体,使用sqoop的主要功能

sqoop import

将RDBMS数据放入hadoop 中,就是导入,import

sqoop export

将hadoo中的数据放入到RDBMs中,就是导出,export

3.架构



sqoop架构非常简单,其底层就是map-reduce,其整合了Hive、Hbase和Oozie,通过map-reduce任务来传输数据,从而提供并发特性和容错。

* 底层的数据传输的实现是MapReduce / YARN

可以参考:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

4.版本

sqoop 的版本依赖于hadoop版本

所以我们需要依据hadoop 版本进行编译sqoop。为了方便可以使用hadoop的cloudera发行版本CDH。

可以参考:http://archive.cloudera.com/cdh5/

CDH 5.3.x 版本,比较稳定,各个版本之间的依赖和兼容不错。

* hadoop-2.5.0-cdh5.3.6.tar.gz

* hive-0.13.1-cdh5.3.6.tar.gz

* zookeeper-3.4.5-cdh5.3.6.tar.gz

* sqoop-1.4.5-cdh5.3.6.tar.gz

下载地址

http://archive.cloudera.com/cdh5/cdh/5/
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息