Spark系列(1)—Spark单机安装与测试
2014-05-08 10:28
357 查看
Spark作为最有可能代替mapreduce的分布式计算框架,当前非常火,本人也开始关注Spark并试着从hadoop+mahout转向Spark。
1.本地环境
本地为ubuntu14.04+jdk1.7
2.源码下载
http://spark.apache.org/downloads.html
我所使用的版本是:0.9.1版本,源码包为:spark-0.9.1.tgz
3.编译
解压缩源码包
编译成功,你就可以玩儿啦!
4.运行实例
最简单的计算pi
结果如下:
5.交互方式运行
进入交互模式。
交互模式实例可以看这里,它是对READ.me文件的处理。
http://spark.apache.org/docs/latest/quick-start.html
1.本地环境
本地为ubuntu14.04+jdk1.7
2.源码下载
http://spark.apache.org/downloads.html
我所使用的版本是:0.9.1版本,源码包为:spark-0.9.1.tgz
3.编译
解压缩源码包
$tar xzvf spark-0.9.1.tgz $cd spark-0.9.1 sbt/sbt assembly
编译成功,你就可以玩儿啦!
4.运行实例
最简单的计算pi
$./bin/run-example org.apache.spark.examples.SparkPi local[3]local代表本地,[3]表示3个线程跑。
结果如下:
Pi is roughly 3.13486 14/05/08 10:26:15 INFO scheduler.TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 14/05/08 10:26:15 INFO handler.ContextHandler: stopped o.e.j.s.h.ContextHandler{/,null} 14/05/08 10:26:15 INFO handler.ContextHandler: stopped o.e.j.s.h.ContextHandler{/static,null} 14/05/08 10:26:15 INFO handler.ContextHandler: stopped o.e.j.s.h.ContextHandler{/metrics/json,null} 14/05/08 10:26:15 INFO handler.ContextHandler: stopped o.e.j.s.h.ContextHandler{/executors,null} 14/05/08 10:26:15 INFO handler.ContextHandler: stopped o.e.j.s.h.ContextHandler{/environment,null} 14/05/08 10:26:15 INFO handler.ContextHandler: stopped o.e.j.s.h.ContextHandler{/stages,null} 14/05/08 10:26:15 INFO handler.ContextHandler: stopped o.e.j.s.h.ContextHandler{/stages/pool,null} 14/05/08 10:26:15 INFO handler.ContextHandler: stopped o.e.j.s.h.ContextHandler{/stages/stage,null} 14/05/08 10:26:15 INFO handler.ContextHandler: stopped o.e.j.s.h.ContextHandler{/storage,null} 14/05/08 10:26:15 INFO handler.ContextHandler: stopped o.e.j.s.h.ContextHandler{/storage/rdd,null} 14/05/08 10:26:16 INFO spark.MapOutputTrackerMasterActor: MapOutputTrackerActor stopped! 14/05/08 10:26:16 INFO network.ConnectionManager: Selector thread was interrupted! 14/05/08 10:26:16 INFO network.ConnectionManager: ConnectionManager stopped 14/05/08 10:26:16 INFO storage.MemoryStore: MemoryStore cleared 14/05/08 10:26:16 INFO storage.BlockManager: BlockManager stopped 14/05/08 10:26:16 INFO storage.BlockManagerMasterActor: Stopping BlockManagerMaster 14/05/08 10:26:16 INFO storage.BlockManagerMaster: BlockManagerMaster stopped 14/05/08 10:26:16 INFO remote.RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon. 14/05/08 10:26:16 INFO remote.RemoteActorRefProvider$RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports. 14/05/08 10:26:16 INFO spark.SparkContext: Successfully stopped SparkContext 14/05/08 10:26:16 INFO Remoting: Remoting shut down 14/05/08 10:26:16 INFO remote.RemoteActorRefProvider$RemotingTerminator: Remoting shut down.看到了吧PI=3.13486
5.交互方式运行
$ ./bin/spark-shell
进入交互模式。
交互模式实例可以看这里,它是对READ.me文件的处理。
http://spark.apache.org/docs/latest/quick-start.html
相关文章推荐
- CaffeOnSpark安装和使用教程系列二:单节点使用CaffeOnSpark进行MNIST数据集的测试
- windows安装Spark单机开发测试环境
- CaffeOnSpark安装和使用教程系列三:集群环境下使用CaffeOnSpark进行MNIST数据集的测试
- sphinx系列之sphinx安装和运行测试(二)
- Spark入门实战系列--2.Spark编译与部署(下)--Spark编译安装
- kafka单机简单安装与测试
- Windows下单机安装Spark开发环境
- Ubuntu下Spark单机版(Standalone)安装
- spark+kafka+Elasticsearch单机环境的部署和性能测试
- ArcGIS 10.1 for Server安装教程系列—— Linux下的单机安装
- Spark安装 测试
- zeppelin 安装使用,测试spark,spark sql
- 单机安装spark
- Hadoop系列之单机版安装
- python基础系列教程——Python的安装与测试:python解释器、PyDev编辑器、pycharm编译器,tensorflow安装
- Spark 单机安装配置
- Windows下单机安装Spark开发环境
- spark 单机模式下安装
- 大数据平台安装测试(1)centos7.1 docker mesos tachyon hadoop (myriad? yarn?)spark hbase speaksql 选型分析
- Spark系列(一)Spark1.0.0源码编译及安装