spark on yarn-client 奇怪问题

运行spark 程序 以 yarn-client 就报错， 以 yarn-cluster 就不报错。

报错如下：

16/05/06 16:46:24 WARN cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: ApplicationMaster has disassociated: 10.60.104.147:37086

16/05/06 16:46:24 WARN remote.ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkYarnAM@10.60.104.147:37086] has failed, address is now gated for [5000] ms. Reason: [Disassociated]

16/05/06 16:46:24 WARN cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: ApplicationMaster has disassociated: 10.60.104.147:37086

16/05/06 16:46:46 INFO cluster.YarnClientSchedulerBackend: SchedulerBackend is ready for scheduling beginning after waiting maxRegisteredResourcesWaitingTime: 30000(ms)

Exception in thread "main" java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext

    at org.apache.spark.SparkContext.org$apache$spark$SparkContext$$assertNotStopped(SparkContext.scala:103)

    at org.apache.spark.SparkContext$$anonfun$parallelize$1.apply(SparkContext.scala:715)

    at org.apache.spark.SparkContext$$anonfun$parallelize$1.apply(SparkContext.scala:714)

看不到 明显原因，只是说 sparkContext stop了。 在 localhost:8088 yarn 上看  spark的 运行的 具体 history 日志，发现是 :

is running beyond virtual memory limits.

超过 虚拟内存限制。

google 大法： + stackoverflow 大法,    英文搜

I solved the issue by setting yarn.nodemanager.vmem-check-enabled to false in yarn-site.xml,    

 在 yarn-site.xml 中 改了这个 就成功了。

<property>

　　<name>yarn.nodemanager.vmem-check-enabled</name>

　　<value>false</value>

</property>

(  如何保存 history 日志，在

mapred-site.xml 中 增加以下配置：

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>hadoop2:10020</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hadoop2:19888</value>

  </property>

通过web浏览器查看 hdfs上 数据：  http://localhost:50070/
)

总结： 当运行自己的程序出错时， 先 排查是否是 环境问题：

那么就运行 spark官方的 示例程序：
http://spark.apache.org/docs/latest/running-on-yarn.html
结果运行如下 不报错：

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
--queue thequeue \
lib/spark-examples*.jar \
10

将deploy-mode 改成 client 就出错， 说明的确是 环境有问题。  如果环境 无问题后，再检查自己的 逻辑代码。