Hadoop之——SQOOP笔记
2015-06-16 13:18
405 查看
转载请注明出处:/article/8380759.html
SQOOP是用于对数据进行导入导出的。
(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中
(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中
1.把数据从mysql导入到hdfs(默认是/user/<username>)中
sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import
sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import --check-column 'TBL_ID' --incremental append --last-value 6
2.把数据从hdfs导出到mysql中
sqoop export --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table ids --fields-terminated-by '\t' --export-dir '/ids'
3.设置为作业,运行作业
sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import
4. 导入导出的事务是以Mapper任务为单位。
相关文章推荐
- Linux/ubuntu目录解释
- Linux下使用Google Authenticator配置SSH登录动态验证码
- x64 linux c 调用约定
- 将Linux命令的结果作为下一个命令的参数[转]
- Looper类mm
- Linux Error: curses.h: No such file or directory 没有找到curses.h 头文件
- [系统维护] ubuntu 14.04 LTS X64,自带无线网卡 RTL8188EE 驱动不稳定问题
- ap(affinity propagation)聚类算法
- Linux共享内存使用常见陷阱与分析
- 如何在 Apache 中抵御暴力破解和 DDoS 攻击
- opencv cvHoughCircles() 霍夫圆变换
- hdu 1035 (usage of sentinel, proper utilization of switch and goto to make code neat)
- Tomcat 创建虚拟目录
- 基于opencv读取两个摄像头信息
- 【JSP/SERVLET】Tomcat内置表单身份验证
- Opencv批量读取文件夹图片
- adt-bundle-linux/sdk/platform-tools/adb error=2 No such file or directory 缺少ia32-libs
- hadoop集群的搭建脚本及构思(一):用户和用户权限
- 网站安全狗最新版绕过测试
- Linux中的MyEclipse配置Hadoop