【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)
2014-11-19 13:05
316 查看
第三步:测试Spark集群
把Spark安装包下的”README.txt”上传到
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsB0D3.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsDBCA.tmp.png)
通过hdfs的web控制台可以发现成功上传了文件:
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps29C.tmp.png)
使用“MASTER:spark://SparkMaster:7077 ./spark-shell”命令启动Spark shell:
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps4C49.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps6BCC.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps81BD.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps99A1.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsAE79.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsC277.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsD990.tmp.png)
接下来通过以下命令读取刚刚上传到HDFS上的“README.md”文件 :
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsFD76.tmp.png)
对读取的文件进行以下操作:
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps31C0.tmp.png)
接下来使用collect命令提交并执行Job:
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps5660.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps71BE.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps80FB.tmp.png)
把Spark安装包下的”README.txt”上传到
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsB0D3.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsDBCA.tmp.png)
通过hdfs的web控制台可以发现成功上传了文件:
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps29C.tmp.png)
使用“MASTER:spark://SparkMaster:7077 ./spark-shell”命令启动Spark shell:
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps4C49.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps6BCC.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps81BD.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps99A1.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsAE79.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsC277.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsD990.tmp.png)
接下来通过以下命令读取刚刚上传到HDFS上的“README.md”文件 :
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wpsFD76.tmp.png)
对读取的文件进行以下操作:
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps31C0.tmp.png)
接下来使用collect命令提交并执行Job:
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps5660.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps71BE.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps80FB.tmp.png)
![](file:///C:/Users/ADMINI~1/AppData/Local/Temp/ksohtml/wps9834.tmp.png)
相关文章推荐
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(5)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(10)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(4)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(9)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(11)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(3)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(7)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(9)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(5)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(5)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(4)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(7)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)