您的位置:首页 > 运维架构

sqoop数据导入导出常用功能

2016-12-10 16:58 316 查看
sqoop wget下来解压后即可使用,常用的导入导出语句为:
//导入到HDFS中
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --table user --columns 'username,address' -m 1 --target-dir '/sqoop/user'
//导入到HIVE中,添加where条件
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --table user --columns 'username,address' -m 1 --hive table users --where 'username=linfenliang'
//导入到Hive中,添加select语句
./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --columns 'username,address' -m 1 --target-dir '/sqoop/user_select' --hive table users --query 'select username,password from user where username = linfenliang and $conditions'
//导出Hive数据到MySQL中

./sqoop emport --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 -m 1 --table mysql_table --export-dir '/sqoop/user'
应用:
一般我们会先把数据从数据库中导入到数据仓库中,如HDFS或HIVE中,然后借助HIVE进行数据分析与处理,数据分析处理完成后,将结果写入到MySQL中即可
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: