您的位置：首页 > 其它

Spark2.0功能测试和日志查看

2018-01-10 18:52 274 查看

一、spark2.0功能测试

1.Spark-shell

在spark的sbin使用spark-shell命令开启，使用如下例子测试：

scala>val file=sc.textFile("hdfs://namenode:9000/user/hadoop/input/core-site.xml")

scala>val count=file.flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey(_+_)

scala>count.collect()

scala>count.saveAsTextFile("hdfs://namenode:9000/user/hadoop/output/core-site-result1.txt")

输出结果如下：

可以在50070端口查看输出结果：

2.Spark-submit

Yarn模式：

./bin/spark-submit --class org.apache.spark.examples.SparkPi \

    --master yarn \

    --deploy-mode cluster \

    --executor-cores 1 \

    --queue default \

    examples/jars/spark-examples_2.11-2.0.0.jar \

10

运行的命令行输出如下：

得到的输出如下：

访问log页面可以看到计算出的Pi结果。

二、查看spark日志

1.Spark-shell的例子的输出日志

NameNode的4040端口可以查看jobs的日志如下：

NameNode的8082端口（默认为8080）WebUI可以查看applications的日志如下：

2.Spark-submit的yarn模式例子的输出日志

1）通过hadoop的8088端口可以查看application的运行情况：

点击logs链接可以查看stdout和stderr如下：

Stderr：

Stdout：

2）也可以通过yarn的logs方法查看相应applicationID的日志

使用yarn logs -applicationId application_1496365682313_0003查看日志；yarn applicaiton -status application_1496365682313_0003查看application的状态。