sqoop2安装配置

下载

因为公司集群是cdh版本的，所以这里下载的是chd版本的sqoop2，网址：http://archive.cloudera.com/cdh5/cdh/5/（注意下载的是sqoop2而不是sqoop），这里下载的是1.99.5版本，各版本之间在命令行语法上有些差别，具体可以在官网中查看（文章最后有1.99.5版本的使用案例网址）

解压

下载完成后上传至需要安装的节点，最好上传至有hadoop和hbase节点的机器，然后在合适的目录下解压。
sqoop2与sqoop1有很大的区别，使用的是server-client模式，在一个节点安装好后，在其他任何节点都可以访问。

添加环境变量

添加如上图红框内所示的环境变量，之后记得source环境变量文件。

修改配置

1. $SQOOP_HOME/conf/sqoop.properties文件



将org.apache.sqoop.submission.engine.mapreduce.configuration.directory改为当前hadoop目录。

2.修改$SQOOP_HOME/server/conf/catalina.properties文件



用当前hadoop的jar包替代common.loader原有配置，注意不能换行。

我的jar包如下：

/home/maxcomputer/selfsoft/hadoop-2.6.0-cdh5.13.0/share/hadoop/common/*.jar,/home/maxcomputer/selfsoft/hadoop-2.6.0-cdh5.13.0/share/hadoop/common/lib/*.jar,/home/maxcomputer/selfsoft/hadoop-2.6.0-cdh5.13.0/share/hadoop/hdfs/*.jar,/home/maxcomputer/selfsoft/hadoop-2.6.0-cdh5.13.0/share/hadoop/hdfs/lib/*.jar,/home/maxcomputer/selfsoft/hadoop-2.6.0-cdh5.13.0/share/hadoop/mapreduce/*.jar,/home/maxcomputer/selfsoft/hadoop-2.6.0-cdh5.13.0/share/hadoop/mapreduce/lib/*.jar,/home/maxcomputer/selfsoft/hadoop-2.6.0-cdh5.13.0/share/hadoop/tools/lib/*.jar,/home/maxcomputer/selfsoft/hadoop-2.6.0-cdh5.13.0/share/hadoop/yarn/*.jar,/home/maxcomputer/selfsoft/hadoop-2.6.0-cdh5.13.0/share/hadoop/yarn/lib/*.jar,/home/maxcomputer/selfsoft/hadoop-2.6.0-cdh5.13.0/share/hadoop/kms/tomcat/lib/*.jar,/home/maxcomputer/selfsoft/hadoop-2.6.0-cdh5.13.0/share/hadoop/httpfs/tomcat/lib/*.jar
也可以在$SQOOP_HOME下创建一个文件夹，将所有jar包拷贝到该文件夹下，然后将common.loader指向该文件夹。

3.将MySQL驱动包拷贝到$SQOOP_HOME_/server/lib/下

启动sqoop服务

未启动前



启动命令：SQOOP_HOME/bin/sqoop.sh server start

启动后：



Sqoop的进程名与httpfs相同，都是Bootstrap，但能看出进程的pid不同。
到这里sqoop的服务端就配置完成并成功启动了，可以在当前机器，或其他机器上连接该服务端，在其他机器上仅需解压sqoop安装包即可，不需要任何配置，下面是客户端连接的步骤。

启动客户端

启动命令：$SQOOP_HOME/bin/sqoop.sh client

连接server

连接命令：set server --host <hostname>  --port 12000  --webapp sqoop



可以用查版本的命令来检验是否连接成功
show version -all：显示服务端及客户端的版本信息



显示如上内容，就标识连接成功，可以使用了，可以参看官方使用案例： http://sqoop.apache.org/docs/1.99.5/Sqoop5MinutesDemo.html