Spark2.1.0的Standalone模式部署

1.下载并解压spark安装包：spark-2.1.0-bin-hadoop2.7.tgz，配置好每台机器上spark的环境变量

cd /home/hadoop273/sparktar -zxvf /data/soft/spark/spark-2.1.0-bin-hadoop2.7.tgz -C .vim ~/.bash_profileexport SPARK_HOME=/home/hadoop273/spark/spark-2.1.0-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/binsource .bash_profile

2.配置spark
进入到Spark安装目录

cd /home/hadoop273/spark/spark-2.1.0-bin-hadoop2.7

进入conf目录并重命名并修改spark-env.sh.template文件

cd conf/mv spark-env.sh.template spark-env.shvim spark-env.sh

在该配置文件中添加如下配置

#指定JAVA_HOME位置export JAVA_HOME=/data/java/jdk1.7.0_79#指定spark老大Master的IPexport SPARK_MASTER_IP=hadoop1#指定spark老大Master的端口export SPARK_MASTER_PORT=7077#指定可用的CPU内核数量(默认:所有可用，实际使用时没有配置最后这两个参数)export SPARK_WORKER_CORES=2#作业可使用的内存容量，默认格式为1000m或者2g(默认:所有RAM去掉给操作系统用的1GB)export SPARK_WORKER_MEMORY=2g

重命名并修改slaves.template文件

mv slaves.template slavesvim slaves

在该文件中添加子节点所在的位置（Worker节点）

hadoop2hadoop3hadoop4

3.将配置好的spark分发到其他节点上

scp -r spark-2.1.0-bin-hadoop2.7/ hadoop273@hadoop2:/home/hadoop273/sparkscp -r spark-2.1.0-bin-hadoop2.7/ hadoop273@hadoop3:/home/hadoop273/sparkscp -r spark-2.1.0-bin-hadoop2.7/ hadoop273@hadoop4:/home/hadoop273/spark

4.在hadoop1上启动spark集群

cd /home/hadoop273/spark/spark-2.1.0-bin-hadoop2.7/sbin./start-all.sh

启动成功！Spark集群配置完毕，目前是1个Master，3个Work
启动后执行jps命令，主节点上有Master进程，其他子节点上有Work进行，登录Spark管理界面查看集群状态（主节点）：http://hadoop1:8080/

5.启动spark shell

/home/hadoop273/spark/spark-2.1.0-bin-hadoop2.7/bin/spark-shell \--master spark://hadoop1:7077 \--executor-memory 1g \--total-executor-cores 2

启动过程中的控制台日志信息如下：

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.propertiesSetting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).16/12/31 09:49:47 WARN SparkContext: Support for Java 7 is deprecated as of Spark 2.0.016/12/31 09:49:48 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable16/12/31 09:49:59 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.016/12/31 09:49:59 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException16/12/31 09:50:01 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectExceptionSpark context Web UI available at http://192.168.2.1:4040Spark context available as 'sc' (master = spark://hadoop1:7077, app id = app-20161231094949-0000).Spark session available as 'spark'.Welcome to      ____              __     / __/__  ___ _____/ /__    _\ \/ _ \/ _ `/ __/  '_/   /___/ .__/\_,_/_/ /_/\_\   version 2.1.0      /_/Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_79)Type in expressions to have them evaluated.Type :help for more information.scala> 

注意：
如果启动spark shell时没有指定master地址，但是也可以正常启动spark shell和执行spark shell中的程序，其实是启动了spark的local模式，该模式仅在本机启动一个进程，没有与集群建立联系。
启动spark shell后jps查看进程，可以看到一个SparkSubmit进程

46113 SparkSubmit

Spark Shell中已经默认将SparkContext类初始化为对象sc。用户代码如果需要用到，则直接应用sc即可

6.启动hdfs

start-dfs.sh

7.在spark-shell中编写wordcount程序

sc.textFile("hdfs://hadoop1:9000/input/words.tsv").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://hadoop1:9000/output")

执行后我们可以从控制界面上看到如下步骤说明：

至此，Spark2.1.0的Standalone模式部署完成