pyspark用pipe管道调用bash脚本时,遇到Permission Denied问题
2017-07-18 15:31
218 查看
当用pyspark在CDH的yarn集群上运行时,用pipe管道调用bash脚本若遇到如下问题
解决:
遇到该问题首先想到应该是没有执行权限。
给bash脚本添加执行权限,
chmod +x xx.sh命令
重新提交spark任务,如若还有该问题,则可能该脚本还需要可读或者可写 则设置该脚本所在的目录src权限,
chmod 777 -R src
"/usr/lib64/python2.7/subprocess.py", line 1234, in _execute_child raise child_exception OSError: [Errno 13] Permission denied at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:166) at org.apache.spark.api.python.PythonRunner$$anon$1.<init>(PythonRDD.scala:207) at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:125) at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:70) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306) at org.apache.spark.rdd.RDD.iterator(RDD.scala:270) at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306) at org.apache.spark.rdd.RDD.iterator(RDD.scala:270) at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38
解决:
遇到该问题首先想到应该是没有执行权限。
给bash脚本添加执行权限,
chmod +x xx.sh命令
重新提交spark任务,如若还有该问题,则可能该脚本还需要可读或者可写 则设置该脚本所在的目录src权限,
chmod 777 -R src
相关文章推荐
- 配置crontab定时执行调用java程序的shell脚本遇到的问题
- hive SQL调用python脚本遇到的几个问题
- java 调用bash shell脚本阻塞的小问题的解决
- C#调用Power Shell 管理Office365 执行脚本时遇到的问题
- 使用Java调用shell脚本时遇到的问题
- bash 脚本工具练习以及遇到的问题。
- C++调用Python脚本遇到的问题记录《后续还会添加 方便查阅》
- 调用接口是遇到的问题
- Jquery跨域调用(JSONP)遇到error问题的解决
- 只能从脚本中调用在类定义上有[ScriptService]属性的 Web 服务问题的解决方法
- 浅析jQuery中调用ajax方法时在不同浏览器中遇到的问题
- 只能从脚本中调用在类定义上有[ScriptService]属性的Web服务问题的解决方案
- 【Linux开发】OpenCV在ARM-linux上的移植过程遇到的问题1---cvNamedWindow调用报错的问题
- 遇到不同vim配置时python脚本缩进对齐问题
- winform调用wcf服务遇到的问题及解决方案
- 调用bash shell脚本的方式
- 在调用FileOutputStream的close方法之后立刻移动或操作文件会遇到文件被占用的问题
- C#调用非托管DLL时遇到“找不到指定的模块”问题解决方法
- 今天用 hbm2ddl 生成数据库脚本时,不明不白地遇到了一个问题又糊里糊涂解决了