编译spark1.6.0出现 Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg)

来源:互联网 发布:数据包怎么上传到淘宝 编辑:程序博客网 时间:2024/05/22 09:03

spark 1.6 编译

1、下载spark1.6源码

2、安装maven

3、解压spark1.6  执行

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
cd spark1.6.0
./make-distribution.sh --name hadoop2.6 --tgz -Psparkr -Phadoop-2.6.0 -Phive -Phive-thriftserver -Pyarn
出现错误:

Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg) on project spark-core_2.10: Command execution failed. Process exited with an error: 127 (Exit value: 127) -> [Help 1]


解决办法:

./make-distribution.sh --name hadoop2.6 --tgz -PR -Phadoop-2.6.0 -Phive -Phive-thriftserver -Pyarn

如果想让spark支持tachyon

 make-distribution.sh 文件

SPARK_TACHYON=true

1 0
原创粉丝点击