pyspark notebook中文显示问题的解决
2017-01-04 15:45
393 查看
上一篇文章在HDP2.5平台上使用Anaconda搭建了notebook环境,使用pyspark进行spark分析。在读取文本文件时发现存在无法显示中文的问题。尝试各种encoding方案未成功。
将python升级到python3,运行时提示python版本与executor的python版本不兼容:
按照这篇文章的介绍http://blog.csdn.net/huobanjishijian/article/details/52538078,在每个spark集群节点上添加环境变量:
export PYSPARK_PYTHON=/root/anaconda3/bin/python
重启所有节点,重启大数据集群服务,中文文件能够正常读取和显示。
将python升级到python3,运行时提示python版本与executor的python版本不兼容:
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.runJob. : org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 1 times, most recent failure: Lost task 0.0 in stage 1.0 (TID 1, localhost): org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/usr/hdp/2.5.3.0-37/spark/python/lib/pyspark.zip/pyspark/worker.py", line 64, in main ("%d.%d" % sys.version_info[:2], version)) Exception: Python in worker has different version 2.7 than that in driver 3.5, PySpark cannot run with different minor versions
按照这篇文章的介绍http://blog.csdn.net/huobanjishijian/article/details/52538078,在每个spark集群节点上添加环境变量:
export PYSPARK_PYTHON=/root/anaconda3/bin/python
重启所有节点,重启大数据集群服务,中文文件能够正常读取和显示。
相关文章推荐
- jsp连接sybase数据库中文显示问题终极解决办法!
- 解决JBuilder2005的中文显示及光标问题
- symbian中文字符串显示问题的解决(转载)
- 解决ebs在2003系统下不能显示中文的问题
- 解决Zend Development中显示中文乱码的问题
- 解决Properties文件中的中文显示乱码问题
- 如何解决ASP.NET中中文不能正常显示问题
- 解决自动安装evaQQ软件不显示中文界面问题
- [摘抄]解决hibernateconsole中文显示问题
- 请教一个问题,Log4Net记录日志到Oracle显示中文乱码如何解决?
- Linux下jdk1.5的安装及中文显示问题解决方案
- JBuilderX中文显示和光标问题的解决方法
- JBuilderX中文显示和光标问题的解决方法
- samba 中文显示问题解决
- tomcat+jsp不支持中文显示问题如何解决
- 如何解决ASP.NET中中文不能正常显示问题?
- 如何解决ASP.NET中中文不能正常显示问题?
- 重大突破!解决了Nokia S60 3rd 模拟器不能显示中文的问题。
- JBuilder2006在Linux下安装及的中文显示问题的解决方法
- struts中中文显示问题的解决。。