您的位置:首页 > 运维架构

Sqoop的安装配置

2017-08-21 23:39 288 查看
一.sqoop的功能

sqoop是实现hadoop与关系数据库(RDBMS)之间的数据迁移工具。通过Sqoop可以方便的将RDBMS的数据和hdfs、hbase、hive上的数据进行相互导入导出。

二.sqoop的安装

1.下载压缩包  https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

  2.解压,配置环境变量

     tar –xzfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/  ->解压  (直接在可视化页面解压也可以)



     vim /etc/profile   ->修改文件,配置环境变量:

     在文件最后加上下面两行(其中SQOOP_HOME后面的值为你解压的路径)

     export SQOOP_HOME=/usr/local/sqoop-1.4.6

     export PATH=$PATH:$SQOOP_HOME/bin



    最后再更新环境变量的值  source /etc/profile

   先复制sqoop[-env-template.sh文件,重命名

    配置$SQOOP_HOME  :/conf/sqoop-env.sh





因为sqoop是hadoop与关系型数据库之间的数据交换,所以需要使用相关数据的jar包,这儿我们用的是mysql,所以需要下载mysql的链接jar包,然后放在sqoop的家目录下的lib目录下。

  wget http://www.pennyx.cn:8080/img/mysql-connector-java-5.1.32-bin.jar ->下载

  mv mysql-connector-java-5.1.32-bin.jar /usr/local/sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz/lib/  ->添加jar包(复制jar包,放到sqoop-1.4.6的lib文件中)



安装完成后简单验证(显示所有数据库)





内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: