3.如何安装Apache Spark
2017-07-31 14:32
288 查看
如何安装Apache Spark
1Why Apache Spark
2关于Apache Spark
3如何安装Apache Spark
4Apache Spark的工作原理
5spark弹性分布式数据集
6RDD持久性
7spark共享变量
8Spark SQL
9Spark Streaming
原文链接:http://blogxinxiucan.sh1.newtouch.com/2017/07/23/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85Apache-Spark/
下表列出了一些重要的链接和先决条件:
当前版本 | 1.0.1 @ http://d3kbcqa49mib13.cloudfront.net/spark-1.0.1.tgz |
---|---|
下载页面 | https://spark.apache.org/downloads.html |
JDK版本(必填) | 1.6以上 |
Scala版本(必填) | 2.10以上 |
Python(可选) | [2.6,3.0) |
简单构建工具(必需) | http://www.scala-sbt.org |
开发版本 | git clone git://github.com/apache/spark.git |
Building说明 | https://spark.apache.org/docs/latest/building-with-maven.html |
Maven | 3.0以上 |
安装JDK 1.6+,Scala 2.10+,Python [2.6,3)和sbt
下载Apache Spark 1.0.1发行版
在指定的目录中解压缩并解压缩spark-1.0.1.tgz
akuntamukkala@localhost~/Downloads$ pwd /Users/akuntamukkala/Downloads akuntamukkala@localhost~/Downloads$ tar -zxvf spark- 1.0.1.tgz -C /Users/akuntamukkala/spark
4、 从#4转到目录并运行sbt来构建Apache Spark
akuntamukkala@localhost~/spark/spark-1.0.1$ pwd /Users/akuntamukkala/spark/spark-1.0.1 akuntamukkala@localhost~/spark/spark-1.0.1$ sbt/sbt assembly
5、 启动Apache Spark独立REPL对于Scala,请使用:
/ Users / akuntamukkala / spark / spark - 1.0。1 / bin / spark - shell
对于Python,请使用:
/Users/akuntamukkala/spark/spark-1.0.1/bin/ pyspark
6.、转到SparkUI @ http:// localhost:4040
公众号:it全能程序猿
![](http://osausq2jb.bkt.clouddn.com/qrcode_for_gh_f8de8f2a2436_344.jpg)
相关文章推荐
- 3.如何安装Apache Spark
- ubuntu 如何安装apache
- 如何在windows XP下安装基于apache或者IIS的bugzilla
- 如何针对已经安装好的Apache/PHP/Mysql/Nginx程序查看他们的编译参数
- 1.集群安装 - apache原生版[spark2.1 + hadoop2.6 + scala2.11.8 + jdk1.8 + flume1.6 + zookeeper3.4.9 + kafka0.
- Apache服务器安装-apache已经卸载,如何删除注册在系统的服务
- 基于Spark-2.1.0 安装 Apache Zeppelin-0.7.2
- Centos7安装Apache Http服务器无法访问如何解决
- 如何在win10(64位系统)上安装apache服务器
- 如何在Windows上安装Apache,MySQL和PHP
- 如何安装Spark & TensorflowOnSpark
- VM中centOS使用NAT联网安装Apache,如何在本机访问
- 本文只讨论如何在Windows NT 4.0上安装Apache Servlet
- 安装ubuntu10.10后,如何配置一个Apache+MySQL+PHP环境
- 如何在Ubuntu 14.04之上安装Linux、Apache、MySQL与PHP(即LAMP)堆栈
- 如何安装Spark & TensorflowOnSpark
- spark-core_12:org.apache.spark.deploy.master.Master源码解析4-- 如何清理超时的Woker及zk是如何选举
- 如何在CentOS 6安装Linux,Apache,MySQL,PHP(LAMP)
- 如何查看已经编译安装好的nginx、apache、php、mysql的编译参数?
- 基于cdh5.10.x hadoop版本的apache源码编译安装spark