您的位置:首页 > 其它

Spark1.5.2使用过程中遇到的两个bug

2016-03-14 11:16 399 查看
1.ERROR
YarnScheduler: Lost executor 5 on 10-149-11-4:remote
Rpc client
disassociated
类似这种错误,是spark on yarn当前版本的bug。由于启用了动态分配以及回收资源,当正确的回收资源后,会报出这个错误。

这个错误不会影响集群以及计算任务的结果。

Jira地址:https://issues.apache.org/jira/browse/SPARK-4134

2.Spark的hiveserver2,不能add
jar创建自定义的udf,udaf等。

Jira地址:https://issues.apache.org/jira/browse/SPARK-11191?jql=project%20%3D%20SPARK%20AND%20affectedVersion%20in%20%281.5.0%2C%201.5.1%2C%201.5.2%29%20AND%20text%20~%20%22beeline%20add%20jar%22

解决办法:打算升级到spark1.6.1,修复了这些bug。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: