Spark1.5.2使用过程中遇到的两个bug
2016-03-14 11:16
399 查看
1.ERROR
YarnScheduler: Lost executor 5 on 10-149-11-4:remote
Rpc client
disassociated
类似这种错误,是spark on yarn当前版本的bug。由于启用了动态分配以及回收资源,当正确的回收资源后,会报出这个错误。
这个错误不会影响集群以及计算任务的结果。
Jira地址:https://issues.apache.org/jira/browse/SPARK-4134
2.Spark的hiveserver2,不能add
jar创建自定义的udf,udaf等。
Jira地址:https://issues.apache.org/jira/browse/SPARK-11191?jql=project%20%3D%20SPARK%20AND%20affectedVersion%20in%20%281.5.0%2C%201.5.1%2C%201.5.2%29%20AND%20text%20~%20%22beeline%20add%20jar%22
解决办法:打算升级到spark1.6.1,修复了这些bug。
YarnScheduler: Lost executor 5 on 10-149-11-4:remote
Rpc client
disassociated
类似这种错误,是spark on yarn当前版本的bug。由于启用了动态分配以及回收资源,当正确的回收资源后,会报出这个错误。
这个错误不会影响集群以及计算任务的结果。
Jira地址:https://issues.apache.org/jira/browse/SPARK-4134
2.Spark的hiveserver2,不能add
jar创建自定义的udf,udaf等。
Jira地址:https://issues.apache.org/jira/browse/SPARK-11191?jql=project%20%3D%20SPARK%20AND%20affectedVersion%20in%20%281.5.0%2C%201.5.1%2C%201.5.2%29%20AND%20text%20~%20%22beeline%20add%20jar%22
解决办法:打算升级到spark1.6.1,修复了这些bug。
相关文章推荐
- Apache2.2+Tomcat7.0整合配置详解
- Android新手入门2016(6)--客户端编程思想的初步思考和Android学习路线
- 328. Odd Even Linked List
- 设置UITableView分割线的颜色和位置
- C++ new失败情况与处理
- 编码规范的重要性
- vs2010将类图导入visio
- Range out of order in character class 正则表格式
- 带渐变层叠动画的左右滑动效果
- checkbox数据回显问题
- jsp中setAttribute与getAttribute方法使用介绍
- java抽象类与接口的区别(谈谈自己的理解)
- 项目范围应该如何管理?什么是项目范围蔓延?与渐进明细有什么区别?
- ffmpeg常见命令
- WIFI 的SSID/ESSID/BSSID区别
- 有return的情况下try catch finally的执行顺序
- ViewPager 调用notifyDataSetChanged()不刷新内容的问题
- 信息系统项目管理01
- android布局属性详解
- unity shader之岩浆瀑布