spark 集群搭建*（3节点）

spark环境安装

一． 下载安装

下载地址：http://spark.apache.org/downloads.html

Standalone模式的spark集群虽然不依赖于yarn，但是数据文件存在hdfs，所以需要hdfs集群启动成功

这里下载包也要根据hadoop集群版本启动

比如hadoop2.5.2需要下载spark-1.4.0-bin-hadoop2.4.tgz

 

下载解压进入解压缩目录

二．配置启动

进入conf目录发现只有slaves.template和spark-env.sh.template，这里可以拷贝一份把template的后缀去掉

配置slaves，里面配置从节点的主机名或者ip，例如

 vim slaves

node1

node2

node3

配置spark-env.sh，和JAVA_HOME

export JAVA_HOME=/opt/soft/jdk1.7.0_79

export SPARK_MASTER_IP=master

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=512m

 

注意：如果想要跑spark on yarn则需要配置HADOOP_CONF_DIR

在spark-env.sh或者/etc/profile下面配置都可以

二． 测试  

访问192.168.57.4:8080能看到web界面

 

执行命令./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100

 

 

 

附录：

不同运行模式的命令不同

1. standalone client模式

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100

2. standalone cluster模式

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://spark001:7077 --deploy-mode cluster --supervise --executor-memory 512M --total-executor-cores 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100

3. on yarn client模式

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 512M --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100

4. on yarn cluster模式

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 512m --num-executors 1 ./lib/spark-examples-1.5.2-hadoop2.4.0.jar 100