在IDEA中开发代码，并运行在Spark集群中的问题
2016-10-24 19:37
239 查看
在IDEA中编写scala代码及编译。这里就不详细赘述了。1、spark-submit提交时，总是发现加载失败！
有一个问题是在每个主机的spark-env.sh这个配置文件中SPARK_MASTER_IP=Master,不能是直接的IP地址。这里改好我的程序就没问题了。
2、详细的说明见 ：https://my.oschina.net/cjun/blog/509247
如下：
最后运行成功：
参见文章：http://blog.csdn.net/stark_summer/article/details/42528081
http://blog.csdn.net/kinger0/article/details/46562473
有一个问题是在每个主机的spark-env.sh这个配置文件中SPARK_MASTER_IP=Master,不能是直接的IP地址。这里改好我的程序就没问题了。
2、详细的说明见 ：https://my.oschina.net/cjun/blog/509247
如下：
最后运行成功：
参见文章：http://blog.csdn.net/stark_summer/article/details/42528081
http://blog.csdn.net/kinger0/article/details/46562473
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 本地开发spark代码上传spark集群服务并运行（基于spark官网文档）
- 3-2、Intellij IDEA开发、集群提交运行Spark代码
- 本地开发spark代码上传spark集群服务并运行
- 本地开发spark代码上传spark集群服务并运行
- 本地开发spark代码上传spark集群服务并运行（基于spark官网文档）
- eclipse或idea中开发spark程序本地运行以及提交集群运行
- 本地开发spark代码上传spark集群服务并运行（基于spark官网文档）
- spark mllib 应用程序开发及提交到spark集群运行--入门
- 我用 itellij idea + genymotion 搭建Android开发运行遇到的问题
- 第94讲， 使用Scala开发集群运行的Spark 实现在线黑名单过滤程序
- Spark在IDEA中打jar包，并在集群上运行（包括local模式，standalone模式的集群运行）
- IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试（spark集群运行模式）
- intelli IDEA node开发代码提示问题
- 在集群运行spark代码记录程序
- spark集群运行大数据集的word2vec问题汇总
- 集群运行spark时出现的问题
- Idea中编写并运行Spark集群（WordCount）
- 使用IDEA编译spark 1.5并运行example的代码
- Spark入门--基于Intellij IDEA开发Spark应用并在集群上运行
- 将java开发的wordcount程序部署到spark集群上运行