spark集群管理问题集锦

温馨提示：斜体涂黑部分是大家需要改成自己的哟
1. Standalone模式下，端口不能绑定，worker启动不起来：
16/01/03 21:35:11 ERRORNettyTransport: failed to bind to /202.102.110.203:0, shutting down Nettytransport

16/01/03 21:35:11 WARN Utils: Service 'sparkWorker' could not bind on port 0.Attempting port 1.
解决办法：
在spark-env.sh 中加入 export SPARK_LOCAL_IP =ubuntu207
2016.1.4 update
 
2. Standalone模式下，master没有启动起来，在log中也没有明显的错误信息，检查其他用户有没有启动master，切换到该用户把master关掉
 
3. 报classUID不匹配的错误
local classincompatible: stream classdesc serialVersionUID = 1568630193381428614, localclass serialVersionUID = 123568791827398723523
解决办法：
很有可能是JDK版本不兼容造成的，查看/etc/profile文件下的JAVA_HOME是否和自己安装的版本相同
2016.1.6update
 
4.   
<console>:10:error: not found: value sqlContext

       import sqlContext.implicits._

              ^

<console>:10: error: not found: value sqlContext

       import sqlContext.sql
 
解决办法：
就目前来看重启机器并清空/tmp目录是解决办法，这个貌似是Spark 1.5的一个bug，是否修复还未知。原因是系统检测到了装有HDFS并尝试连接HDFS但未果：
https://issues.apache.org/jira/browse/SPARK-8162
 
5. 报资源不够用的warning:
 WARNTaskSchedulerImpl: Initial job has not accepted any resources; check yourcluster UI to ensure that workers are registered and have sufficient resources
想起一个笑话：
一个程序员程序调不出来很郁闷就去外面抽烟，旁边来了一个扫地大妈说：“小伙子要爱惜身体啊，你没看到烟盒子上的哪个警告吗？”
小伙子不屑的回了一句：“我们只在意error, 从不看warning的!”<哈哈，说明这个程序员不够专业！>
 
解决办法：
在开启spark-shell或Spark-submit时追加 --executor-memory3G
理论上在sparkenv.sh中设置worker的memory大小就应该不用在运行spark-shell时增加memory选项，待查
2016.1.7update
 
6.
在运行脚本的时候报bash ‘/bin/sh:Syntax error: “(” unexpected
解决办法：http://www.minroad.com/?p=543
就是因为用的是linux将sh指向了dash而不是bash，兼容就有问题，输入：
dpkg-reconfiguredash
弹出窗口选NO，关掉就OK了
 
7. 出现WARN ReliableDeliverySupervisor:Association with remote system [akka.tcp://sparkMaster。。。
参考大神之贴：http://ju.outofmemory.cn/entry/162428
 
8. 出现WARN ReliableDeliverySupervisor:Association with remote system [akka.tcp://executor。。。
重启spark的worker试试？