Sqoop增量从MySQL中向hive导入数据

sqoop job --create incretest -- import --connect  jdbc:mysql://10.8.2.19:3306/db  --table table1 --username op_root --password root -m 1  --hive-import --incremental lastmodified --check-column dtTime  --last-value '2015-11-30 16:59:43.1';

注意：

1. – import之间有空格

2. dtTime要和你mysql数据库字段一样，此处区分大小写

3. hive中时间精确到2015-11-30 16:59:43.0跟2015-11-30 16:59:43不同

select * from table1 where dtTime  = '2015-11-30 16:59:43.0';
select * from table1 where dtTime  = '2015-11-30 16:59:43';
结果不同

4.job中自动更新的时间是按你执行命令的时间更新，而不是dtTime最后一个值的时间

参考资料：

/article/1869762.html

http://shiyanjun.cn/archives/624.html

http://www.linuxidc.com/Linux/2014-09/106281.htm