spark shell ,在Windows上build Spark
2016-04-09 23:32
337 查看
在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下。
首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下的是Spark 1.1.0,目前最新的release,链接spark-1.1.0.tgz。
按照文档上运行bin/spark-shell,会提示找不到所需的jar包,需要重新build生成这个jar包。
首先确认本机是否已安装Scala和SBT,scala需要2.10.x版本,sbt我用的是0.13,如果没有安装的就从网上下载安装。将sbt的bin添加到windows path环境变量下,确保可以运行。
到Spark的root目录下,运行sbt package(比较耗时,10多分钟),这会将spark所有依赖的lib下载到本地的ivy repository(sbt默认使用ivy repository)
第四步成功完成之后,spark依赖的库已经具备,运行sbt assembly,这会将spark依赖的库和spark本身assemble成一个很大的jar包。这步完成后,你会在assembly\target\scala-2.10下找到spark-assembly-1.1.0-hadoop1.0.4.jar, spark-assembly_2.10-1.1.0.jar这两个jar包
上述步骤完成之后,就可以在bin下运行spark-shell,可以成功进入shell,进行操作。
(附:sbt下载安装即可使用,命令行输入sbt,未报错即安装成功。但是环境变量path下可能不正确导致命令行输入“sbt”提示错误,更改path即可sbt/bin。下载网址:http://www.scala-sbt.org/release/docs/Setup.html
sbt具体安装及配置:http://my.oschina.net/u/915967/blog/146746 or 自己的转载)
首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下的是Spark 1.1.0,目前最新的release,链接spark-1.1.0.tgz。
按照文档上运行bin/spark-shell,会提示找不到所需的jar包,需要重新build生成这个jar包。
首先确认本机是否已安装Scala和SBT,scala需要2.10.x版本,sbt我用的是0.13,如果没有安装的就从网上下载安装。将sbt的bin添加到windows path环境变量下,确保可以运行。
到Spark的root目录下,运行sbt package(比较耗时,10多分钟),这会将spark所有依赖的lib下载到本地的ivy repository(sbt默认使用ivy repository)
第四步成功完成之后,spark依赖的库已经具备,运行sbt assembly,这会将spark依赖的库和spark本身assemble成一个很大的jar包。这步完成后,你会在assembly\target\scala-2.10下找到spark-assembly-1.1.0-hadoop1.0.4.jar, spark-assembly_2.10-1.1.0.jar这两个jar包
上述步骤完成之后,就可以在bin下运行spark-shell,可以成功进入shell,进行操作。
(附:sbt下载安装即可使用,命令行输入sbt,未报错即安装成功。但是环境变量path下可能不正确导致命令行输入“sbt”提示错误,更改path即可sbt/bin。下载网址:http://www.scala-sbt.org/release/docs/Setup.html
sbt具体安装及配置:http://my.oschina.net/u/915967/blog/146746 or 自己的转载)
相关文章推荐
- 栈溢出笔记1.3 准备Shellcode
- shell bash判断文件或文件夹是否存在
- 统计文本中某值字段数量-cat-awk-sort-uniq-c
- xshell为什么连接不上ubuntu---ould not connect to 'ip' (port 22): Connection failed.
- xshell利用linux rz sz 命令上传、下载文件
- bash: sqlplus: command not found 解决方法
- Hbase 学习笔记1----shell
- 嵌入式linux常用shell指令
- Shell脚本交互之:自动输入密码
- 使用 Shell 脚本自动化 Linux 系统维护任务
- shell 脚本调试技巧
- Xshell Solarized Dark主题
- sed命令n,N,d,D,p,P,h,H,g,G,x解析
- Linux shell ${}简单用法
- shell脚本带参数实例
- Linuxshell脚本攻略第四章总结----让文本飞
- shell脚本使用
- shell 调试手段总结
- 脚本实现telnet检测指定机器端口的连通性
- Linux下Bash常用基本特性