Ubuntu Spark 环境搭建(转)
2017-10-01 19:39
218 查看
在安装Spark之前,我们需要在自己的系统当中先安装上jdk和scala
可以去相应的官网上下载:
JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
scala:http://www.scala-lang.org/download/
下载完成后可以得到这样两个压缩包
1
用这条语句来创建jdk的安装目录,这里我们计划装到/usr/lib/jdk目录下,
然后切换到jdk压缩包所在的目录,比如这里我们把包放在了~/Desktop目录下
1
执行解压缩命令,把压缩包解压缩到/usr/lib/jdk目录下
1
注意这里需要root权限。不然没有办法往/usr/lib/jdk目录中写数据
然后我们需要配置PATH路径,让jdk命令在任何路径下都能够直接执行
1
打开配置文件,有些教程会让你编辑自己目录下的~/.bashrc文件,.bashrc文件的改动只会对当前用户产生作用,而/etc/profile的改动在重启之后会对所有用户都起作用
在配置文件的最后加上
1
2
3
4
JAVA_HOME的路径根据自己解压缩的目录来配置。
然后推出vim,如果你不会用vim,可以在所有命令中出现vim的地方用gedit来代替,下面也是一样。
1
当前终端重新载入/etc/profile配置文件,然后执行一下
1
如果出现一大串东西,那么恭喜你你的jdk安装成功了,否则很有可能你的环境配置出了问题,请仔细检查。
首先也是创建安装目录
1
然后是将压缩包解压缩
1
最后打开/etc/profile,在最后添加配置
1
2
退出后,进行source /etc/profile
然后执行scala,出现如下界面说明安装成功
可以在这里输入
退出scala
http://spark.apache.org/downloads.html
这个是它的下载地址,需要注意的是,我们在Choose a package type:这里选择的是Pre-Build for Hadoop2.6
然后点击下面的Download Spark链接开始下载。
完成后
会出现这个文件
同样我们需要给spark一个安装目录
1
解压缩文件
1
在/etc/profile中配置
1
2
之后,执行
出现这个就说明安装已经完成,你可以在这里输入相应的python代码来执行操作。
所以我们需要把pyspark添加到python的寻找目录当中,同样我们需要编辑/etc/profile文件,在最后添上
1
这样就把spark目录下的python库添加到了python的找寻目录中
但是由于python需要去调用java的库所以在/usr/lib/spark/spark-1.6.1-bin-hadoop2.6/python路径下我们需要添加一个py4j的文件夹,这个文件可以在/usr/lib/spark/spark-1.6.1-bin-hadoop2.6/python/lib目录下找到,在这个目录下有一个py4j-0.9-src.zip的压缩包,把他解压缩放到
/usr/lib/spark/spark-1.6.1-bin-hadoop2.6/python/目录下就可以了
当然这个操作需要在root权限下进行
这个时候在任意目录下输入python
然后在这里输入
1
查看是否可以正确导入pyspark,如果没有出现任何提示,就说明pyspark能够正常导入。
这样就可以在任何地方编写.py文件,需要用到pyspark的地方用import导入即可。
首先我们需要点击右上角的下拉框,选择 Edit Configurations…
然后在弹出的对话框中,点击Enviroment variables:右侧的编辑按钮
点击加号添加两条新的数据,
PYTHONPATH和
SPARK_HOME
数据内容和/etc/profile中对应的内容相同
然后用下述代码测试
1
2
3
4
出现
说明pycharm也能够正常载入pyspark了。
转自:http://blog.csdn.net/u010171031/article/details/51849562
可以去相应的官网上下载:
JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
scala:http://www.scala-lang.org/download/
下载完成后可以得到这样两个压缩包
安装JDK
首先我们先来安装jdk,sudo mkdir /usr/lib/jdk
1
用这条语句来创建jdk的安装目录,这里我们计划装到/usr/lib/jdk目录下,
然后切换到jdk压缩包所在的目录,比如这里我们把包放在了~/Desktop目录下
cd ~/Desktop
1
执行解压缩命令,把压缩包解压缩到/usr/lib/jdk目录下
sudo tar -zxvf jdk-8u91-linux-x64.tar.gz -C /usr/lib/jdk
1
注意这里需要root权限。不然没有办法往/usr/lib/jdk目录中写数据
然后我们需要配置PATH路径,让jdk命令在任何路径下都能够直接执行
sudo vim /etc/profile
1
打开配置文件,有些教程会让你编辑自己目录下的~/.bashrc文件,.bashrc文件的改动只会对当前用户产生作用,而/etc/profile的改动在重启之后会对所有用户都起作用
在配置文件的最后加上
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_91 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
1
2
3
4
JAVA_HOME的路径根据自己解压缩的目录来配置。
然后推出vim,如果你不会用vim,可以在所有命令中出现vim的地方用gedit来代替,下面也是一样。
source /etc/profile
1
当前终端重新载入/etc/profile配置文件,然后执行一下
java
1
如果出现一大串东西,那么恭喜你你的jdk安装成功了,否则很有可能你的环境配置出了问题,请仔细检查。
安装scala
接着我们需要安装scala具体的安装过程和jdk很像,首先也是创建安装目录
sudo mkdir /usr/lib/scala
1
然后是将压缩包解压缩
sudo tar -zxvf scala-2.11.8.tgz -C /usr/lib/scala
1
最后打开/etc/profile,在最后添加配置
export SCALA_HOME=/usr/lib/scala/scala-2.11.8 export PATH=${SCALA_HOME}/bin:$PATH
1
2
退出后,进行source /etc/profile
然后执行scala,出现如下界面说明安装成功
可以在这里输入
:quit
退出scala
安装spark
安装完了上面这些之后我们需要安装今天的主角Spark了,首先去官网下载我们需要的包http://spark.apache.org/downloads.html
这个是它的下载地址,需要注意的是,我们在Choose a package type:这里选择的是Pre-Build for Hadoop2.6
然后点击下面的Download Spark链接开始下载。
完成后
会出现这个文件
同样我们需要给spark一个安装目录
sudo mkdir /usr/lib/spark
1
解压缩文件
sudo tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz -C /usr/lib/spark
1
在/etc/profile中配置
export SPARK_HOME=/usr/lib/spark/spark-1.6.1-bin-hadoop2.6 export PATH=${SPARK_HOME}/bin:$PATH
1
2
source /etc/profile
之后,执行
pyspark
出现这个就说明安装已经完成,你可以在这里输入相应的python代码来执行操作。
python中使用pyspark
当然了,我们在之后的开发过程中,不可能说只在这么一个解释器中开发,所以接下来我们要做的是让python能够加载spark的库。所以我们需要把pyspark添加到python的寻找目录当中,同样我们需要编辑/etc/profile文件,在最后添上
export PYTHONPATH=/usr/lib/spark/spark-1.6.1-bin-hadoop2.6/python:/usr/bin/python
1
这样就把spark目录下的python库添加到了python的找寻目录中
但是由于python需要去调用java的库所以在/usr/lib/spark/spark-1.6.1-bin-hadoop2.6/python路径下我们需要添加一个py4j的文件夹,这个文件可以在/usr/lib/spark/spark-1.6.1-bin-hadoop2.6/python/lib目录下找到,在这个目录下有一个py4j-0.9-src.zip的压缩包,把他解压缩放到
/usr/lib/spark/spark-1.6.1-bin-hadoop2.6/python/目录下就可以了
当然这个操作需要在root权限下进行
这个时候在任意目录下输入python
然后在这里输入
import pyspark
1
查看是否可以正确导入pyspark,如果没有出现任何提示,就说明pyspark能够正常导入。
这样就可以在任何地方编写.py文件,需要用到pyspark的地方用import导入即可。
pycharm导入pyspark
当然有些用户喜欢用pycharm来编写python,所以对于pycharm使用pyspark也做一下说明首先我们需要点击右上角的下拉框,选择 Edit Configurations…
然后在弹出的对话框中,点击Enviroment variables:右侧的编辑按钮
点击加号添加两条新的数据,
PYTHONPATH和
SPARK_HOME
数据内容和/etc/profile中对应的内容相同
然后用下述代码测试
import pyspark conf = pyspark.SparkConf().setAppName("sparkDemo").setMaster("local") sc = pyspark.SparkContext(conf=conf)
1
2
3
4
出现
说明pycharm也能够正常载入pyspark了。
转自:http://blog.csdn.net/u010171031/article/details/51849562
相关文章推荐
- 环境搭建(二)spark1.0.2 (ubuntu10.0.4)
- 在Ubuntu 14.04 64bit上搭建单机本地节点Spark 1.3.0环境
- Ubuntu搭建Scikit-Learn、TensorFlow、Theano、Caffe、OpenCV、Hadoop、Spark开发环境
- Hadoop2.6.0 + Spark1.4.0 在Ubuntu14.10环境下的伪分布式集群的搭建(实践可用)
- Ubuntu 16.04 Spark单机环境搭建
- ubuntu搭建spark环境与初始化ubuntu的操作
- Ubuntu /Spark单机环境搭建
- Ubuntu下Spark开发环境搭建
- 在Ubuntu 14.04 64bit上搭建单机本地节点Spark 1.3.0环境
- Ubuntu Spark 环境搭建
- Ubuntu16.04+Spark单机环境搭建
- ubuntu操作系统下spark源码走读环境搭建
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--5
- ubuntu16.04搭建Hadoop2.7.2+spark1.6.1+mysql+hive2.0.0伪分布学习环境
- Ubuntu下Spark开发环境搭建
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--4
- 在Ubuntu14.04 64bit上搭建单机Spark环境,IDE为Intelli IDEA
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--3
- Ubuntu 16.04下Spark安装与开发环境搭建
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--2