sqoop安装指南
2016-06-30 08:52
225 查看
环境:centos6.5,hadoop2.5.2,habse1.0.3,sqoop1.4.3
首先就是解压缩,重命名为sqoop,然后在文件/etc/profile中设置环境变量SQOOP_HOME。
把mysql的jdbc驱动mysql-connector-java-5.1.30-bin.jar复制到sqoop项目的lib目录下。
在conf目录下,有两个文件sqoop-site.xml和sqoop-site-template.xml内容是完全一样的,不必在意,我们只关心sqoop-site.xml即可。
好了,搞定了,下面就可以运行了。
直接执行命令即可
sqoop##sqoop命令
import##表示导入
--connectjdbc:mysql://ip:3306/sqoop ##告诉jdbc,连接mysql的url
--usernameroot ##连接mysql的用户名
--passwordadmin ##连接mysql的密码
--tableaa ##从mysql导出的表名称
--fields-terminated-by'\t' ##指定输出文件中的行的字段分隔符
-m1 ##复制过程使用1个map作业
以上的命令中后面的##部分是注释,执行的时候需要删掉;另外,命令的所有内容不能换行,只能一行才能执行。以下操作类似。
该命令执行结束后,观察hdfs的目录/user/{USER_NAME},下面会有一个文件夹是aa,里面有个文件是part-m-00000。该文件的内容就是数据表aa的内容,字段之间是使用制表符分割的。
sqoop
export##表示数据从hive复制到mysql中
--connectjdbc:mysql://192.168.1.113:3306/test
--usernameroot
--passwordadmin
--tablebb ##mysql中的表,即将被导入的表名称
--export-dir'/user/root/aa/part-m-00000' ##hive中被导出的文件
--fields-terminated-by'\t' ##hive中被导出的文件字段的分隔符
命令执行完后,再去观察表bb中的数据,是不是已经存在了!
sqoop就是一个数据转换工具!
1.安装
我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz,打算安装在/hadoop目录下。首先就是解压缩,重命名为sqoop,然后在文件/etc/profile中设置环境变量SQOOP_HOME。
把mysql的jdbc驱动mysql-connector-java-5.1.30-bin.jar复制到sqoop项目的lib目录下。
2.重命名配置文件
在${SQOOP_HOME}/conf中执行命令mv sqoop-env-template.sh sqoop-env.sh
在conf目录下,有两个文件sqoop-site.xml和sqoop-site-template.xml内容是完全一样的,不必在意,我们只关心sqoop-site.xml即可。
3.修改配置文件sqoop-env.sh
内容如下#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/hadoop/hadoop
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/hadoop/hadoop
#set the path to where bin/hbase is available
export HBASE_HOME=/hadoop/hbase-1.0.3
#Set the path to where bin/hive is available
export HIVE_HOME=/hadoop/hive
#Set the path for where zookeper config dir is
#export ZOOCFGDIR=/usr/local/zk
好了,搞定了,下面就可以运行了。
把数据从mysql导入到hdfs中
直接执行命令即可
sqoop##sqoop命令
import##表示导入
--connectjdbc:mysql://ip:3306/sqoop ##告诉jdbc,连接mysql的url
--usernameroot ##连接mysql的用户名
--passwordadmin ##连接mysql的密码
--tableaa ##从mysql导出的表名称
--fields-terminated-by'\t' ##指定输出文件中的行的字段分隔符
-m1 ##复制过程使用1个map作业
以上的命令中后面的##部分是注释,执行的时候需要删掉;另外,命令的所有内容不能换行,只能一行才能执行。以下操作类似。
该命令执行结束后,观察hdfs的目录/user/{USER_NAME},下面会有一个文件夹是aa,里面有个文件是part-m-00000。该文件的内容就是数据表aa的内容,字段之间是使用制表符分割的。
把数据从hdfs导出到mysql中
把上一步导入到hdfs的数据导出到mysql中。我们已知该文件有两个字段,使用制表符分隔的。那么,我们现在数据库test中创建一个数据表叫做bb,里面有两个字段。然后执行下面的命令sqoop
export##表示数据从hive复制到mysql中
--connectjdbc:mysql://192.168.1.113:3306/test
--usernameroot
--passwordadmin
--tablebb ##mysql中的表,即将被导入的表名称
--export-dir'/user/root/aa/part-m-00000' ##hive中被导出的文件
--fields-terminated-by'\t' ##hive中被导出的文件字段的分隔符
命令执行完后,再去观察表bb中的数据,是不是已经存在了!
sqoop就是一个数据转换工具!
相关文章推荐
- 实现Cacti监控nginx运行状态
- Tomcat7.0安装配置详细(图文)
- Cinder 组件详解 - 每天5分钟玩转 OpenStack(47)
- 网站被插入pos.baidu广告,疑似网站被黑
- Tomcat7.0源码分析——请求原理分析(上)
- Linux虚拟机实现Host-only方式上网
- Hadoop集群化搭建(四)Hadoop-2.6.0安装
- centos 磁盘分区
- linux——深入理解linux内存分布—基础篇
- 云主机服务器centos搭建PHP开发环境
- 深入理解linux内核分配
- Hadoop
- read()/write()的生命旅程——前言与目录
- read()/write()的生命旅程之二——第二章:read()
- read()/write()的生命旅程之三——第三章:write()
- read()/write()的生命旅程之五——第五章:从bio到media
- read()/write()的生命旅程之四——第四章:writeback
- top执行过程中的一些交互命令
- 配置Nginx多核CPU,worker_cpu_affinity使用方法和范例
- linux shell 流程控制