Cloudera Hue 使用经验分享,遇到的问题及解决方案
2015-04-27 09:40
477 查看
在使用Cloudera Hue时遇到一问题:
1. 使用Sqoop导入功能时,由于配置错误,使得“保存运行”后Job并不能正常提交,且界面上没有相关提示。
解决办法:
使用Hue的Sqoop shell -》
start job --jid
* 提交会出现一些错误提示
然后再去/var/log/sqoop/里面查看log
2. 在使用Job Designer设计Sqoop任务,提交时,执行过过程中提示缺少mysql
驱动,虽然驱动已经被加入到sqoop/lib下。
解决办法:
后来才发现,原来安装的时候会将oozie workflow共享依赖的包入到hdfs中,所以我将驱动上传到hdfs://user/oozie/share/lib/sqoop/下,再执行Job就可以了
3. hue oozie 执行sqoop create-hive-table,不能成功在hive metastore中创建table,虽然在sqoop中加入--verbose参数,在执行过程中显示了表示要创建table的DDL语句,但是在hive中show tables;并没有真正创建成功。
解决办法:
可能是在hue中sqoop没有办法调用起hive client,因为日志的最后并没有打印hive所生成的log.
4. hue oozie中有几个关于时间的设置,都跟时区有关:
Cloudera Manager中有关hue的时区的设置,默认为American/LosAngeles,这个时区设置使得hue oozie dashboard中任务的时间显示不能与中国标准时间一致
解决办法:
将其改为Asia/Chongqing,重启hue服务即可。
Hue Oozie Coordinator的频率设置,开始和结束时间后的时区设置,是用来调整夏令时区的。由于某些时区实行夏令时,使得开始和结束时间要进行一定的调整。
上面的开始和结束时间使用的是UTC时区,这个设置可以更改/etc/oozie/conf/oozie-default.xml中的oozie.process.timezone,默认为UTC。然后,Hue oozie对这个设置的更改不起作用,所以在使用hue oozie时,设置时间固定以UTC为基准,中国时间比其早8小时,一般要减去8小时。
5. 在使用Cloudera Manager部署Hadoop时,由于各节点时钟不统一,会导致服务出现异常
解决办法:
使用NTP server/client可以解决这个问题。
1. 使用Sqoop导入功能时,由于配置错误,使得“保存运行”后Job并不能正常提交,且界面上没有相关提示。
解决办法:
使用Hue的Sqoop shell -》
start job --jid
* 提交会出现一些错误提示
然后再去/var/log/sqoop/里面查看log
2. 在使用Job Designer设计Sqoop任务,提交时,执行过过程中提示缺少mysql
驱动,虽然驱动已经被加入到sqoop/lib下。
解决办法:
后来才发现,原来安装的时候会将oozie workflow共享依赖的包入到hdfs中,所以我将驱动上传到hdfs://user/oozie/share/lib/sqoop/下,再执行Job就可以了
3. hue oozie 执行sqoop create-hive-table,不能成功在hive metastore中创建table,虽然在sqoop中加入--verbose参数,在执行过程中显示了表示要创建table的DDL语句,但是在hive中show tables;并没有真正创建成功。
解决办法:
可能是在hue中sqoop没有办法调用起hive client,因为日志的最后并没有打印hive所生成的log.
4. hue oozie中有几个关于时间的设置,都跟时区有关:
Cloudera Manager中有关hue的时区的设置,默认为American/LosAngeles,这个时区设置使得hue oozie dashboard中任务的时间显示不能与中国标准时间一致
解决办法:
将其改为Asia/Chongqing,重启hue服务即可。
Hue Oozie Coordinator的频率设置,开始和结束时间后的时区设置,是用来调整夏令时区的。由于某些时区实行夏令时,使得开始和结束时间要进行一定的调整。
上面的开始和结束时间使用的是UTC时区,这个设置可以更改/etc/oozie/conf/oozie-default.xml中的oozie.process.timezone,默认为UTC。然后,Hue oozie对这个设置的更改不起作用,所以在使用hue oozie时,设置时间固定以UTC为基准,中国时间比其早8小时,一般要减去8小时。
5. 在使用Cloudera Manager部署Hadoop时,由于各节点时钟不统一,会导致服务出现异常
解决办法:
使用NTP server/client可以解决这个问题。
相关文章推荐
- 分享一个copyfile使用时遇到的问题及解决方案
- 分享一个copyfile使用时遇到的问题及解决方案 .
- 使用struts2实现下载功能遇到的文件中文问题解决经验分享
- [转][经验分享] UGUI使用遇到问题总结
- Unity3D使用Sqlite遇到的各种问题及其解决方案
- OpenCV中gpu下使用cascade classifier遇到问题的解决方案
- 使用VB.NET遇到的若干问题及解决方案
- Jquery ajaxSubmit()使用案例以及遇到的问题解决方案
- Qt使用中遇到的问题及解决方案
- Qt5.7以及5.8在cmake工程中使用C++14编译遇到的问题及解决方案
- 使用Xcode8遇到的问题以及解决方案
- 使用Android Studio半年来遇到的一些问题解决方案总结
- ubuntu使用中遇到的问题解决方案
- IDEA下单独使用MybatisJDBC进行持久化遇到的问题分享。
- 在使用Telnet连接localhost时所遇到的问题及解决方案
- 使用ShareSDK分享到新浪微博遇到的一些问题
- 8086汇编语言自学经验分享 在使用debug跟踪程序时,遇到Int 21使用P命令
- 分享一点在用Qt编写计算器的过程中所遇到的问题(主要是信号和槽的问题)大神们就没必要看了,都是一些小白摸爬打滚的经验
- Maven使用过程中遇到的问题及解决方案
- 使用Git遇到的问题及解决方案(初级)