1.sqoop概念,功能,架构,版本
2017-04-29 10:37
204 查看
1.sqoop概念
sqoop(SQL TO HADOOP),是hadoop的协作框架之一
2.功能
对于hadoop进行大数据处理的数据来源主要有两部分
(1)关系数据库,RDBMS(Oracle,MySQL,DB2…)
(2)文件(apache,nginx日志数据)
hadoop 对于大数据的处理,是将数据存储在HDFS上,sqoop的功能就是将RDBMS中的数据导入HDFS,或者将HDFS中的数据导出到RDBMS。对于文件系统中的数据导入HDFS,可以使用Flume(实时抽取)。
sqoop以Hadoop 为主体,RDBMS为客体,使用sqoop的主要功能
sqoop import
将RDBMS数据放入hadoop 中,就是导入,import
sqoop export
将hadoo中的数据放入到RDBMs中,就是导出,export
3.架构
sqoop架构非常简单,其底层就是map-reduce,其整合了Hive、Hbase和Oozie,通过map-reduce任务来传输数据,从而提供并发特性和容错。
* 底层的数据传输的实现是MapReduce / YARN
可以参考:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html
4.版本
sqoop 的版本依赖于hadoop版本
所以我们需要依据hadoop 版本进行编译sqoop。为了方便可以使用hadoop的cloudera发行版本CDH。
可以参考:http://archive.cloudera.com/cdh5/
CDH 5.3.x 版本,比较稳定,各个版本之间的依赖和兼容不错。
* hadoop-2.5.0-cdh5.3.6.tar.gz
* hive-0.13.1-cdh5.3.6.tar.gz
* zookeeper-3.4.5-cdh5.3.6.tar.gz
* sqoop-1.4.5-cdh5.3.6.tar.gz
下载地址
http://archive.cloudera.com/cdh5/cdh/5/
sqoop(SQL TO HADOOP),是hadoop的协作框架之一
2.功能
对于hadoop进行大数据处理的数据来源主要有两部分
(1)关系数据库,RDBMS(Oracle,MySQL,DB2…)
(2)文件(apache,nginx日志数据)
hadoop 对于大数据的处理,是将数据存储在HDFS上,sqoop的功能就是将RDBMS中的数据导入HDFS,或者将HDFS中的数据导出到RDBMS。对于文件系统中的数据导入HDFS,可以使用Flume(实时抽取)。
sqoop以Hadoop 为主体,RDBMS为客体,使用sqoop的主要功能
sqoop import
将RDBMS数据放入hadoop 中,就是导入,import
sqoop export
将hadoo中的数据放入到RDBMs中,就是导出,export
3.架构
sqoop架构非常简单,其底层就是map-reduce,其整合了Hive、Hbase和Oozie,通过map-reduce任务来传输数据,从而提供并发特性和容错。
* 底层的数据传输的实现是MapReduce / YARN
可以参考:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html
4.版本
sqoop 的版本依赖于hadoop版本
所以我们需要依据hadoop 版本进行编译sqoop。为了方便可以使用hadoop的cloudera发行版本CDH。
可以参考:http://archive.cloudera.com/cdh5/
CDH 5.3.x 版本,比较稳定,各个版本之间的依赖和兼容不错。
* hadoop-2.5.0-cdh5.3.6.tar.gz
* hive-0.13.1-cdh5.3.6.tar.gz
* zookeeper-3.4.5-cdh5.3.6.tar.gz
* sqoop-1.4.5-cdh5.3.6.tar.gz
下载地址
http://archive.cloudera.com/cdh5/cdh/5/
相关文章推荐
- 高性能MySQL -MySQL架构,MVCC多版本并发控制和一些基本概念
- 1.Flume概念,功能,架构
- asp.net(c#)操作iis全功能版系统(08年3月5日正式发布升级版本)
- 在Editplus中使用CVS版本控制功能
- CRM功能架构
- 深入浅出MFC“文档/视图”架构(1)――基本概念
- EasyJWeb-0.6.0版本新功能简介
- ClearCase四大功能详述 - 版本控制
- 用日志钩子来实现键盘钩子功能之delphi/bcb版本
- 对以前扫雷游戏功能进一步完善的版本.
- 实现uc版本维护功能,基线baseline的实现也就容易了
- 关于澳洲版本(各地版本)的msn premium功能
- CArchive的版本控制功能
- 水晶报表10各版本功能差异
- Google最新版本的工具条加入了单词翻译功能
- 使用SHAREPOINT架构企业门户和实现OA功能
- 今天看到了一个进度条的.NET版本.功能比较强大
- 巧用DBGrid控件的Sort属性实现“点击标题栏自动排序功能”。(改进版本)
- Delphi制作客户端系统功能组件分离的架构设计
- SQL Artisan数据库访问组件下一版本完善功能概述