sqoop数据导入导出常用功能
2016-12-10 16:58
316 查看
sqoop wget下来解压后即可使用,常用的导入导出语句为:
//导入到HDFS中
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --table user --columns 'username,address' -m 1 --target-dir '/sqoop/user'
//导入到HIVE中,添加where条件
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --table user --columns 'username,address' -m 1 --hive table users --where 'username=linfenliang'
//导入到Hive中,添加select语句
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --columns 'username,address' -m 1 --target-dir '/sqoop/user_select' --hive table users --query 'select username,password from user where username = linfenliang and $conditions'
//导出Hive数据到MySQL中
./sqoop emport --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 -m 1 --table mysql_table --export-dir '/sqoop/user'
应用:
一般我们会先把数据从数据库中导入到数据仓库中,如HDFS或HIVE中,然后借助HIVE进行数据分析与处理,数据分析处理完成后,将结果写入到MySQL中即可
//导入到HDFS中
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --table user --columns 'username,address' -m 1 --target-dir '/sqoop/user'
//导入到HIVE中,添加where条件
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --table user --columns 'username,address' -m 1 --hive table users --where 'username=linfenliang'
//导入到Hive中,添加select语句
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --columns 'username,address' -m 1 --target-dir '/sqoop/user_select' --hive table users --query 'select username,password from user where username = linfenliang and $conditions'
//导出Hive数据到MySQL中
./sqoop emport --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 -m 1 --table mysql_table --export-dir '/sqoop/user'
应用:
一般我们会先把数据从数据库中导入到数据仓库中,如HDFS或HIVE中,然后借助HIVE进行数据分析与处理,数据分析处理完成后,将结果写入到MySQL中即可
相关文章推荐
- 常用sql语句实例(含过滤及删除重复数据、导入导出数据等)
- 怎么MSSQL 2005 的导入导出功能没有“在Sql Server数据库之间复制对象和数据”一项?
- SQLServer 常用格式数据文件导入导出之一
- 使用sqoop工具进行数据导入导出 sqoop并行导入
- 利用sqoop将hive数据导入导出数据到mysql
- 常用SQL语句实例大全(含过滤及删除重复数据、导入导出数据等)
- 常用数据导入导出方法
- 用NPOI实现导入导出csv、xls、xlsx数据功能
- SQL2005 SSMSE管理器里没有数据导入导出功能
- Oracle11g数据库导入Oracle10g数据库 oracle常用数据导入导出命令
- Oracle 数据导入和导出(备份和恢复) 常用命令
- SQL2005 SSMSE管理器里没有数据导入导出功能
- 常用SQL语句实例(含过滤及删除重复数据、导入导出数据等)
- 用NPOI实现导入导出csv、xls、xlsx数据功能
- 转一个数据导入导出功能的帖子(转链)
- MYSQL导入导出数据常用命令
- 文本数据批量导入导出数据库功能~~急~~
- SQLServer 常用数据格式文件导入导出之二
- Sqoop_详细总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
- mysql 复制表数据,表结构、数据导入、导出常用方法