【数据平台】Eclipse+Scala远程开发调试关于hostname的问题

1、代码：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object wc {
def main(args : Array[String]){
System.setProperty("hadoop.home.dir", "D:\\dev\\hadoop-2.7.4");
val conf = new SparkConf()//创建SparkConf对象
conf.setAppName("WordCount").setMaster("spark://master:7077")//设置应用程序的名称，在程序运行的监控界面可以看到名称
//conf.setAppName("WordCount").setMaster("local")//运行模式
//创建SparkContext对象，通过传入SparkConf实例来定制Spark运行的具体参数和配置信息
val sc = new SparkContext(conf)
/*根据具体的数据来源（HDFS、HBase、Local FS、DB、S3等）通过SparkContext来创建RDD
* RDD的创建基本有三种方式：根据外部的数据来源（例如HDFS）、根据Scala集合、由其它的RDD操作
* 数据会被RDD划分成为一系列的Partitions，分配到每个Partition的数据属于一个Task的处理范畴
*/
//读取本地文件并设置为一个Partion
val lines = sc.textFile("hdfs://master:9000/tmp/README.md",1)//hdfs路径
//对每一行的字符串进行单词拆分并把所有行的拆分结果通过flat合并成为一个大的单词集合
val words = lines.flatMap{line => line.split(" ")}
val pairs = words.map{word => (word,1)}
//对相同的Key，进行Value的累计（包括Local和Reducer级别同时Reduce）
val wordCounts = pairs.reduceByKey(_+_)
//在命令行中打印该结果
wordCounts.foreach(wordNumberPair => println(wordNumberPair._1 + " : " +wordNumberPair._2))
sc.stop()//记得关闭创建的SparkContext对象

}
}

执行报错：

16/01/07 13:50:16 INFO AppClient$ClientEndpoint: Connecting to master spark://ip:7077...
16/01/07 13:50:36 ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[appclient-registration-retry-thread,5,main]
java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@116465dc rejected from java.util.concurrent.ThreadPoolExecutor@565b576f[Running, pool size = 1, active threads = 1, queued tasks = 0, completed tasks = 0]
at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2048)

2、分析：

查看7077端口发现是监听本机地址，不过先从hostname着手。

本机开发是win7+eclipse环境，所以在C:\Windows\System32\drivers\etc\HOSTS中，增加一行IP Master对应的关系。

再执行，连接可以进入，不过一直出不来结果，WARN提示：

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

3、针对该错误，分析：

    执行到：

wordCounts.foreach(wordNumberPair => println(wordNumberPair._1 + " : " +wordNumberPair._2))

出现上述错误。查核Spark UI，看开发本机的UI



看执行日志也正常，最后看master上的spark-env.sh配置，SPARK_WORKER_MEMORY=8192m，是否是这个导致这个资源不足的错误提示？

同样的代码提交到集群内任何一台机子都可以正确执行，spark-submit --class wc /home/hadoop/wc.jar

那说明不是这个资源问题，问题还在远程开发调试上。

4、进一步集群分析：

  http://master:8080/ 看到：



 任务在集群上提交了各节点执行。

发现提交的用户是本机的用户名administrator，而集群内是hadoop，那是否关系到用户名呢？

找了下sparkconf配置好像没有可以设置用户名，那就只有在windows创建一个hadoop用户然后用来开发提交。