如何用Jupyter Notebook打开Spark
2017-01-04 23:18
716 查看
电脑已经装了anaconda python,然后下载了spark2.1.0。因为版本太新,所以网上和书上的一些内容已经不再适用。比如关于如何使用IPython和Jupyter,教程给出的方法是用如下语句打开Spark即可进入IPython或者IPython Notebook:
然鹅运行以上语句后我得到的是:
所以使用Jupyter打开Spark的设置方法是:
这样再打开Spark时就会自动使用Jupyter Notebook来打开Spark了。
IPYTHON=1 ./bin/pyspark IPYTHON_OPTS="notebook" ./bin/pyspark
然鹅运行以上语句后我得到的是:
Error in pyspark startup: IPYTHON and IPYTHON_OPTS are removed in Spark 2.0+. Remove these from the environment and set PYSPARK_DRIVER_PYTHON and PYSPARK_DRIVER_PYTHON_OPTS instead.
所以使用Jupyter打开Spark的设置方法是:
1 export PYSPARK_DRIVER_PYTHON=jupyter 2 export PYSPARK_DRIVER_PYTHON_OPTS='notebook' pyspark
这样再打开Spark时就会自动使用Jupyter Notebook来打开Spark了。
相关文章推荐
- Jupyter notebook如何打开数据集
- Windows 下jupyter notebook 如何修改打开的浏览器
- 如何修改jupyter notebook默认打开目录
- elasticsearch5.3.0安装以及与基于jupyter notebook 的spark交互
- spark 2.2:jupyter notebook NameError: name 'sc' is not defined
- 如何在Jupyter Notebook中使用Tensorflow
- Jupyter Notebook打开时报错的问题解决办法
- 在Jupyter notebook中配置和使用spark
- 在windows中打开ipynb文件 ipython notebook jupyter
- linux系统如何在jupyter notebook里面使用tensorflow
- 如何在Jupyter Notebook中使用Tensorflow
- 如何安装Jupyter Notebook
- 基于pyspark 和scala spark的jupyter notebook 安装
- 打开ipynb文件——Jupyter Notebook——怎么设置路径
- 如何修改jupyter notebook的 默认目录和默认浏览器
- 用windows浏览器打开Linux的Jupyter notebook开发、调试示例
- 用jupyter notebook打开.ipynb文件
- anaconda2 打开jupyter Notebook及简单使用
- 详解 jupyter notebook 集成 spark 环境安装
- 1.2 jupyter notebook 浏览器打开空白