sqoop

SQOOP是用于对数据进行导入导出的。（在它的解压缩文件里面也有一个doc文件夹，里面也有官方文档，进入index.html）
(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中
(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中
安装SQOOP
export SQOOP_HOME=/usr/local/SQOOP
export ...$SQOOP_HOME/bin:.....
sqoop.env.sh  需要改一下 项目最后一个视频50分钟有说到
使用SQOOP
输入命令sqoop

注意：
要把数据从HDFS中导入到mysql中，就意味着需要连接mysql，并对其进行操作，所以必不可少的需要驱动，所以需要把mysql的驱动
放到...../sqoop/lib目录下。这一点和HIVE一样

1.把数据从mysql导入到hdfs(默认是/user/<username>)中                          表名
sqoop import --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'  --null-string '**'  -m 1 --append  --hive-import
sqoop import --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'  --null-string '**'  -m 1 --append  --hive-import  --check-column 'TBL_ID' --incremental append --last-value 6

--null-string '**' 表示，对于空的单元格用什么表示，这里是用**表示。  不能用--表示。会报错，因为--是特有字符
-m 1:表示启动几个map来执行，默认4个，这和最后产生几个文件也有关系，应该是启动一个map，产生一个文件。
--append 如果该命令重复执行，会报错==>说该文件已经在目录中存在了，但是加上--append之后，就可以重复执行了，并且每次执行会产生新的文件。
--hive-import：表示导入到hive中。
--check-column 'TBL_ID':表示增量导入的时候，需要验证的列，也就是说，当这一列有新增的时候，我们才导入。
--incremental append：表示，增量导入的时候，出现增量的时候这么处理， 这里的append表示出现增量，用增加的方式处理。
--last-value 6：表示上一次的最后一个值是到几。
导入的增量部分在一个新的文件中(不知道可不可以修改)。

2.把数据从hdfs导出到mysql中  （导出的时候，需要按照目录导出，不能按照文件导出 /dis代表的就是一个目录，不能写为/ids/id）
表名
sqoop export --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table ids --fields-terminated-by '\t' --export-dir '/ids'
--export-dir '/ids'：表示要被导出的目录
3.设置为作业，运行作业（每次都输入这个命令太麻烦，所以把这个命令做成一个job，job --create myjob，其中myjob是名字，可以自己起）
sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'  --null-string '**'  -m 1 --append  --hive-import
sqoop job --list  查看都有哪些job
sqoop job --exec myjob 执行job

如何让job自动运行（就是想执行的时候不输密码。）
在配置文件目录下，有一个sqoop-site.xml 可以进行设置
需要把原来的脚本删掉才可以，否则不生效 sqoop job --delete myjob，然后再创建job

4. 导入导出的事务是以Mapper任务为单位。
如果我就想启动4个事务，这么保证我的事务呢，可以加个--staging-table，这个意思就是，我在导入的时候，4个事务都导入到一个临时表中，然后再把临时表导入到hdfs，
--clear-staging-table，表示导入完成之后清空那个临时表。