利用sqoop实现oralce与hdfs之间相互导数据
2017-12-28 21:34
465 查看
oracle与hdfs数据交互(相互导数据)
1、列出oracle数据库中的所有数据库
sqoop list-databases --connect jdbc:oracle:thin:@10.0.0.1:1521/dw --username test --password test
2、连接oracle并列出数据库中的表
sqoop list-tables --connect jdbc:oracle:thin:@10.0.0.1:1521/dw --username test --password test
3、将数据从oracle导入hdfs
sqoop export --connect jdbc:oracle:thin:@10.0.0.1:1521/dw --username test --password test --table table1 --export-dir /temp/export/ --input-fields-terminated-by "\\01" --input-null-string '\\N' --input-null-non-string '\\N'
4、将数据从hdfs导入数据库
sqoop import --connect jdbc:oracle:thin:@10.0.0.1:1521/dw --username test --password test -m 1 --delete-target-dir --target-dir /temp/export/ --query "select * from table1 WHERE \$CONDITIONS" --fields-terminated-by "\\01" --hive-drop-import-delims --null-string
'\\N' --null-non-string '\\N'
1、列出oracle数据库中的所有数据库
sqoop list-databases --connect jdbc:oracle:thin:@10.0.0.1:1521/dw --username test --password test
2、连接oracle并列出数据库中的表
sqoop list-tables --connect jdbc:oracle:thin:@10.0.0.1:1521/dw --username test --password test
3、将数据从oracle导入hdfs
sqoop export --connect jdbc:oracle:thin:@10.0.0.1:1521/dw --username test --password test --table table1 --export-dir /temp/export/ --input-fields-terminated-by "\\01" --input-null-string '\\N' --input-null-non-string '\\N'
4、将数据从hdfs导入数据库
sqoop import --connect jdbc:oracle:thin:@10.0.0.1:1521/dw --username test --password test -m 1 --delete-target-dir --target-dir /temp/export/ --query "select * from table1 WHERE \$CONDITIONS" --fields-terminated-by "\\01" --hive-drop-import-delims --null-string
'\\N' --null-non-string '\\N'
相关文章推荐
- 使用sqoop2实现hdfs与Oracle数据相互导入
- 使用sqoop实现关系型数据库、HDFS、Hive之间数据的导入导出
- sqoop:mysql和Hbase/Hive/Hdfs之间相互导入数据
- sqoop:mysql和Hbase/Hive/Hdfs之间相互导入数据
- 线程共享的环境包括:进程代码段、进程的公有数据(利用这些共享的数据,线程很容易的实现相互之间的通讯)、进程打开的文件描述符、信号的处理器、进程的当前目录和进程用户ID与进程组ID。 进程拥有这
- sqoop实现Mysql、Oracle与hdfs之间数据的互导
- 利用Sqoop实现MySQL与HDFS数据互导
- [hadoop读书笔记] 第十五章 sqoop1.4.6小实验 - 数据在mysq和hdfs之间的相互转换
- MapReduce功能实现一---Hbase和Hdfs之间数据相互转换
- 通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
- 实现基本工作空间和函数之间数据的相互调用
- 利用Bundle实现Activity之间的数据传递。
- Sqoop实现MySql/Oracle与Hdfs/Hbase互导数据
- Sqoop实现Mysql与HDFS互导数据,Mysql与Hbase,Oracle与Hbase的互导最后给出命令。
- 利用react-redux实现react组件数据之间数据共享
- 利用sprintf和sscanf实现十六进制和十进制之间的相互转换
- 利用DBLink+JOB实现两个Oracle数据库之间的数据同步
- 使用sqoop做桥梁实现oracle和hdfs之前数据互导(问题和心得)
- 利用SQOOP将数据从数据库导入到HDFS
- Json字符串和Java实体类之间的相互转换(利用jackson实现)