Spark Client部署

来源:互联网 发布:淘宝买家手机号 编辑:程序博客网 时间:2024/05/05 16:19

1,参考文章(【Spark】Spark的Standalone模式安装部署)进行Spark Client部署时,要注意一点:

如果你在spark-env.sh里设置了JAVA_HOME的话,需要在把spark文件夹拷贝到本地后,修改一下JAVA_HOME,改成你本机的相对应的JAVA_HOME。

2,在client电脑上以“cluster”模式提交任务时,注意要把提交的Jar包放到一个所有Master和Slave都能访问到的地方,例如:hadoop上(hdfs://hadoop-ip:9000/test/spark/wordcount/jar/spark_word_count.jar)

0 0
原创粉丝点击