pyspark用pipe管道调用bash脚本时,遇到Permission Denied问题
来源:互联网 发布:标准数据公司 编辑:程序博客网 时间:2024/06/11 14:17
当用pyspark在CDH的yarn集群上运行时,用pipe管道调用bash脚本若遇到如下问题
"/usr/lib64/python2.7/subprocess.py", line 1234, in _execute_child raise child_exception OSError: [Errno 13] Permission deniedat org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:166)at org.apache.spark.api.python.PythonRunner$$anon$1.<init>(PythonRDD.scala:207)at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:125)at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:70)at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306)at org.apache.spark.rdd.RDD.iterator(RDD.scala:270)at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306)at org.apache.spark.rdd.RDD.iterator(RDD.scala:270)at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38
解决:
遇到该问题首先想到应该是没有执行权限。
给bash脚本添加执行权限,
chmod +x xx.sh命令
重新提交spark任务,如若还有该问题,则可能该脚本还需要可读或者可写 则设置该脚本所在的目录src权限,
chmod 777 -R src
阅读全文
0 0
- pyspark用pipe管道调用bash脚本时,遇到Permission Denied问题
- 更新matplotlib时遇到permission denied问题
- bash: ./a.out: Permission denied的问题
- -bash: ./mysql_install_db: Permission denied
- linux 下-bash: bin/nutch: Permission denied问题
- Linux中启动Tomcat:bash: ./startup.sh: Permission denied问题
- Linux中启动Tomcat:bash: ./startup.sh: Permission denied问题
- Linux中启动Tomcat:bash: ./startup.sh: Permission denied问题
- 关于遇到Permission denied时的配置
- ansible执行脚本时显示Permission denied
- 脚本执行Permission denied
- pyspark 遇到的问题
- bash: ./mongos: Permission denied解决办法
- bash: ./build.sh: Permission denied
- Bash . configure permission denied错误
- Bash . configure permission denied错误
- Bash . configure permission denied错误
- Bash . configure permission denied错误
- linux文件权限管理
- Statement和Expression的用法
- 2.2 贝叶斯决策论——连续特征
- Internal Server Error mysql负回收导致网站异常
- win10 64位操作系统下jdk安装
- pyspark用pipe管道调用bash脚本时,遇到Permission Denied问题
- Java知识点总结归纳
- Jenkins自动部署Maven +tomcat+linux环境java项目并自动部署到外网
- PostgreSQL 9.4 流复制环境搭建
- 从零开始写javaweb框架笔记23-使框架具备AOP特性-实现事务控制特性
- Class类中getDeclaredFields() 与getFields()的区别
- 微信h5支付 回调签名验证
- Java基础之Calendar类、JNDI之XML
- A Fatal error occurred while performing the refactoring