您的位置:首页 > 产品设计 > UI/UE

Cloudera Hue 使用经验分享,遇到的问题及解决方案

2015-04-27 09:40 477 查看
在使用Cloudera Hue时遇到一问题:

1. 使用Sqoop导入功能时,由于配置错误,使得“保存运行”后Job并不能正常提交,且界面上没有相关提示。

解决办法:

使用Hue的Sqoop shell -》
start job --jid
* 提交会出现一些错误提示

然后再去/var/log/sqoop/里面查看log

2. 在使用Job Designer设计Sqoop任务,提交时,执行过过程中提示缺少mysql
驱动,虽然驱动已经被加入到sqoop/lib下。

解决办法:

后来才发现,原来安装的时候会将oozie workflow共享依赖的包入到hdfs中,所以我将驱动上传到hdfs://user/oozie/share/lib/sqoop/下,再执行Job就可以了

3. hue oozie 执行sqoop create-hive-table,不能成功在hive metastore中创建table,虽然在sqoop中加入--verbose参数,在执行过程中显示了表示要创建table的DDL语句,但是在hive中show tables;并没有真正创建成功。

解决办法:

可能是在hue中sqoop没有办法调用起hive client,因为日志的最后并没有打印hive所生成的log.

4. hue oozie中有几个关于时间的设置,都跟时区有关:

Cloudera Manager中有关hue的时区的设置,默认为American/LosAngeles,这个时区设置使得hue oozie dashboard中任务的时间显示不能与中国标准时间一致

解决办法:

将其改为Asia/Chongqing,重启hue服务即可。

Hue Oozie Coordinator的频率设置,开始和结束时间后的时区设置,是用来调整夏令时区的。由于某些时区实行夏令时,使得开始和结束时间要进行一定的调整。

上面的开始和结束时间使用的是UTC时区,这个设置可以更改/etc/oozie/conf/oozie-default.xml中的oozie.process.timezone,默认为UTC。然后,Hue oozie对这个设置的更改不起作用,所以在使用hue oozie时,设置时间固定以UTC为基准,中国时间比其早8小时,一般要减去8小时。

5. 在使用Cloudera Manager部署Hadoop时,由于各节点时钟不统一,会导致服务出现异常

解决办法:

使用NTP server/client可以解决这个问题。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: