运行Spark例子程序
2016-02-24 00:00
344 查看
摘要: 提供运行Spark例子程序的参考
如若需要在集群上运行Spark例子程序,需要先启动Spark集群。将已经可以互相无密码登陆的从节点名(或IP地址)加入到主节点的conf/slaves文件中,再将配置好的主节点的Spark的整个目录拷贝到其他所有从节点。在直接运行启动集群脚本:
一、安装和配置
下载并解压Spark到指定目录,如果没有安装JDK、Scala,需要先下载JDK、Scala到指定目录,并设置SPKARK_HOME(JAVA_HOME、SCALA_HOME).二、启动Spark或Spark集群
如果只是在单节点上运行Spark,无需启动Spark,直接按『三、运行例子程序』运行即可。如若需要在集群上运行Spark例子程序,需要先启动Spark集群。将已经可以互相无密码登陆的从节点名(或IP地址)加入到主节点的conf/slaves文件中,再将配置好的主节点的Spark的整个目录拷贝到其他所有从节点。在直接运行启动集群脚本:
./start-all.sh # 关闭集群 ./stop-all.sh
二、运行例子程序
1. 在单节点上运行
在单个节点上运行例子无需启动集群:./bin/run-example SparkPi 10 ./bin/run-example graphx.LiveJournalPageRank follower.txt --numEPart=2 # 运行Python的例子程序 ./bin/spark-submit examples/src/main/python/pi.py 10 ./bin/spark-submit examples/src/main/python/PageRank.py follower.txt 10
2. 提交到集群上运行
./bin/spark-submit --master spark://A281:7077 --class org.apache.spark.examples.graphx.LiveJournalPageRank lib/spark-examples-1.6.0-hadoop2.6.0.jar followers.txt --numEPart=2相关文章推荐
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Spark随谈——开发指南(译)
- RedHat 5.8 安装Oracle 11gR2_Grid集群
- Spark,一种快速数据分析替代方案
- mysql集群之MMM简单搭建
- MySQL的集群配置的基本命令使用及一次操作过程实录
- MySQL slave_net_timeout参数解决的一个集群问题案例
- Redis 集群搭建和简单使用教程
- Windows Server 2003 下配置 MySQL 集群(Cluster)教程
- tomcat6_apache2.2_ajp 负载均衡加集群实战分享
- 用apache和tomcat搭建集群(负载均衡)
- Red Hat Linux,Apache2.0+Weblogic9.2负载均衡集群安装配置
- Hadoop单机版和全分布式(集群)安装
- java结合HADOOP集群文件上传下载
- eclipse 开发 spark Streaming wordCount
- Spring3.2.0和Quartz1.8.6集群配置
- Understanding Spark Caching
- ClassNotFoundException:scala.PreDef$