SQOOP从Oracle导入数据到Hive时hang up在MapReduce作业过程
2016-10-21 14:38
731 查看
打算从Oracle一个模式中导入数据到Hive,打算导入的数据都存在视图里。
其他几个视图的导入过程都很顺利,有一个小坑是如果没有设置split-by column选项,只能用一个mapper(--num-mappers 1)。
基本语句为
sqoop import --hive-import --connect jdbc:oracle:thin:@//192.168.1.1:1521/orcl --username XXX --password XXX -m 1 --table DB.VIEW --as-textfile --hive-overwrite --create-hive-table --fields-terminated-by \\t --hive-table database.table
--null-string '\\N' --null-non-string '\\N';
但是有一个任务在执行MR时候一直卡死,状态是:
INFO [IPC Server handler 23 on 50949] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1474343967582_0462_m_000000_0 is : 0.0
INFO [IPC Server handler 26 on 50949] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1474343967582_0462_m_000000_0 is : 0.0
INFO [IPC Server handler 25 on 50949] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1474343967582_0462_m_000000_0 is : 0.0
完成一直是0.0。
后来看了下数据库,发现这个视图中有一列需要从其他表抽取数据并经过大量计算。
结果选择除了这个列以外的列进行导入,任务顺利跑完。
最后把这个视图需要大量计算的列放到Hive里去跑。
其他几个视图的导入过程都很顺利,有一个小坑是如果没有设置split-by column选项,只能用一个mapper(--num-mappers 1)。
基本语句为
sqoop import --hive-import --connect jdbc:oracle:thin:@//192.168.1.1:1521/orcl --username XXX --password XXX -m 1 --table DB.VIEW --as-textfile --hive-overwrite --create-hive-table --fields-terminated-by \\t --hive-table database.table
--null-string '\\N' --null-non-string '\\N';
但是有一个任务在执行MR时候一直卡死,状态是:
INFO [IPC Server handler 23 on 50949] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1474343967582_0462_m_000000_0 is : 0.0
INFO [IPC Server handler 26 on 50949] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1474343967582_0462_m_000000_0 is : 0.0
INFO [IPC Server handler 25 on 50949] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1474343967582_0462_m_000000_0 is : 0.0
完成一直是0.0。
后来看了下数据库,发现这个视图中有一列需要从其他表抽取数据并经过大量计算。
结果选择除了这个列以外的列进行导入,任务顺利跑完。
最后把这个视图需要大量计算的列放到Hive里去跑。
相关文章推荐
- 通过Sqoop工具将Oracle数据库中的表数据导入到Hive的过程
- Sqoop将MySQL和Oracle的数据导入HIVE和Hbase
- sqoop从oracle导入数据导hive表不支持的数据类型
- Sqoop_具体总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
- 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
- Sqoop将数据从oracle导入到hive时,数据错位问题
- 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
- 使用Sqoop将Oracle数据导入Hive
- 运用sqoop将数据从oracle导入到hive中的注意的问题
- 利用sqoop 将 hive/hdfs数据 导入 Oracle中
- Sqoop将Oracle数据导入Hive时出现异常 running import job: java.io.IOException: Hive exited with status 1
- 利用sqoop 将 hive/hdfs数据 导入 Oracle中
- 使用sqoop1.4.4从oracle导入数据到hive中错误记录及解决方案
- Sqoop工具使用(一)--从oracle导入数据到hive
- Sqoop_详细总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
- 用sqoop将oracle数据导入Hive
- 运用sqoop将数据从oracle导入到hive中的一些坑
- Sqoop 连接Oracle导入数据到hive
- Sqoop_详细总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
- Hadoop数据工具sqoop,导入HDFS,HIVE,HBASE,导出到oracle