Spark Standalone

来源:互联网 发布:bat 算法工程师 编辑:程序博客网 时间:2024/06/07 08:27

spark standalone在windows和linux上的启动不一样, 分别是
windows:
开始一个master
./spark-class org.apache.spark.deploy.master.Master
开始一个worker
./spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
开始多个worker
要是想再加一个worker就直接把上面的命令再跑一次就会起一个新的worker

linux
开始一个marster
sbin/start-master.sh
开始一个worker
sbin/start-slave.sh spark://host:ip
开多个worker
SPARK_WORKER_INSTANCES参数可以指定开几个worker

原创粉丝点击