Spark错误：WARN TaskSchedulerImpl: Initial job has not accepted any resources;

在windows环境下使用Intellij idea远程执行spark程序时，遇到了以下问题：

Intellij控制台输出警告：WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

此时程序会一直loading，running，loading，running…的循环，并持续出现上面的警告。

出现这个错误可能有几种原因：

host配置不正确

worker内存不足

相关端口号被占用

针对第二种原因，通过修改配置文件中worker和master使用内存资源的参数即可解决。

针对第三种原因，可以查看占用端口的程序并将其关闭，或者重启spark集群。

然而通过经过排查发现我遇到的问题并不是以上两个原因引起的，于是在web控制台查看具体任务相关的executor的stderr，发现有Name or service not known错误。原因是本机使用了windows默认的名字（一个WINDOWS-XXXXX类似格式的名字），spark worker节点不能识别提交任务的windows节点，因而不能进行交互。而通常提交完任务后提交任务节点上会起一个进程，展示任务进度，默认端口为4044，工作节点会反馈进度给该该端口，所以如果主机名或者IP在hosts中配置不正确，就会报上面的错误。

解决方法：

1. 修改本机hosts文件，在修改第一行，添加自己的hostName，如：

127.0.0.1   zwx-host    localhsot

2.在spark集群的所有节点的hosts中添加本地提交任务的windows节点的ip和hostname，如：

10.0.1.76   zwx-host