Installing Spark Guid (1)

0.所需软件包

java version “1.8.0_102”
Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)
CentOS release 6.5 (Final) (2.6.32-431.el6.x86_64)
Hadoop: 2.6.0
spark-1.6.3-bin-hadoop2.6
zookeeper-3.4.8
hbase-1.0.0
apache-predictionio-0.10.0-incubating

1. 环境准备**

A. SSH 免密码登录*

ssh配置参考

查看防火墙：sudo service iptables status
关闭防火墙：
1) 重启后生效
开启： chkconfig iptables on
关闭： chkconfig iptables off
2) 即时生效，重启后失效
开启： service iptables start
关闭： service iptables stop

安装Openssh server

sudo apt-get install openssh-server
在所有机器上都生成私钥和公钥

ssh-keygen -t rsa #一路回车
需要让机器间都能相互访问，就把每个机子上的id_rsa.pub发给master节点，传输公钥可以用scp来传输。

scp ~/.ssh/id_rsa.pub spark@master:~/.ssh/id_rsa.pub.slave1
在master上，将所有公钥加到用于认证的公钥文件authorized_keys中

cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys
将公钥文件authorized_keys分发给每台slave

scp ~/.ssh/authorized_keys spark@slave1:~/.ssh/
在每台机子上验证SSH无密码通信

ssh master
ssh slave1
ssh slave2
如果登陆测试不成功，则可能需要修改文件authorized_keys的权限（权限的设置非常重要，因为不安全的设置安全设置,会让你不能使用RSA功能 ）

chmod 600 ~/.ssh/authorized_keys

B.修改主机名

我们将搭建1个master，2个slave的集群方案。首先修改主机名vim /etc/hostname，在master上修改为master，其中一个slave上修改为slave1，另一个同理。

配置hosts

在每台主机上修改host文件

vi /etc/hosts

10.1.1.107 master
10.1.1.108 slave1
10.1.1.109 slave2
配置之后ping一下用户名看是否生效

ping slave1
ping slave2

C. 安装 Java

tar -zxvf jdk-*-x64.tar.gz

D. 安装Scala

tar -zxvf scala-*.tar.gz（可直接在目录中打开终端，然后解压）

E. 设置环境变量

修改环境变量： vim /etc/profile
或者是vim ~/.bashrc (只针对普通用户有效）
添加下列内容，注意将home路径替换成你的：

export WORK_SPACE=/home/spark/workspace/export JAVA_HOME=$WORK_SPACE/jdk*...*export JRE_HOME=/home/spark/work/jdk*...*/jreexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATHexport CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport SCALA_HOME=$WORK_SPACE/scala-*...*export PATH=$PATH:$SCALA_HOME/bin

然后使环境变量生效
$ source /etc/profile #生效环境变量

验证 Java 和scala是否安装成功

$ java -version #如果打印出如下版本信息，则说明安装成功

$ scala -version #如果打印出如下版本信息，则说明安装成功

2.安装配置 Hadoop YARN

下载解压
tar -zxvf hadoop-2.6.0.tar.gz
配置 Hadoop
cd ~/workspace/hadoop-2.6.0/etc/hadoop进入hadoop配置目录，
需要配置有以下7个文件：
hadoop-env.sh，yarn-env.sh，slaves，core-site.xml，hdfs-site.xml，maprd-site.xml，yarn-site.xml

A. 在hadoop-env.sh 和 yarn-env.sh中配置JAVA_HOME

  export JAVA_HOME=/home/spark/workspace/jdk*......*

####B. 在slaves中配置slave节点的ip或者host，
slave1
slave2

####C. 修改core-site.xml

<configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://IP:9000/</value>    </property>    <property>         <name>hadoop.tmp.dir</name>         <value>file:/home/spark/workspace/hadoop-2.6.0/tmp</value>    </property></configuration>

D. 修改hdfs-site.xml

<configuration>   <property>       <name>dfs.namenode.secondary.http-address</name>       <value>172.18.44.123:9001</value>    </property>    <property>         <name>dfs.namenode.name.dir</name>         <value>file:/home/spark/workspace/hadoop-2.6.0/dfs/name</value>     </property>     <property>         <name>dfs.datanode.data.dir</name>         <value>file:/home/spark/workspace/hadoop-2.6.0/dfs/data</value>      </property>      <property>         <name>dfs.replication</name>         <value>2</value>       </property></configuration>

E. 修改mapred-site.xml

<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>

F. 修改yarn-site.xml

<configuration>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>    <property>        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>        <value>org.apache.hadoop.mapred.ShuffleHandler</value>    </property>    <property>        <name>yarn.resourcemanager.address</name>        <value>master:8032</value>    </property>    <property>        <name>yarn.resourcemanager.scheduler.address</name>        <value>master:8035</value>    </property>    <property>        <name>yarn.resourcemanager.resource-tracker.address</name>        <value>master:8035</value>    </property>    <property>        <name>yarn.resourcemanager.admin.address</name>        <value>master:8033</value>    </property>    <property>        <name>yarn.resourcemanager.webapp.address</name>        <value>master:8088</value>    </property></configuration>

3. 将配置好的master上的/etc/hosts，javaHome,scalaHome,hadoop-2.6.0,（/etc/profile 或者~/.bashrc）文件夹分发给所有slaves上（路径名必须相同）

scp -r /etc/hosts root@hostname:/etc/
scp -r ~/workspace/javaHome usename@hostname:~/workspace/
scp -r ~/workspace/scalaHome usename@hostname:~/workspace/
scp -r ~/workspace/hadoop-2.6.0 usename@hostname:~/workspace/
scp -r /etc/profile root@hostname:/etc/
scp -r ~/.bashrc usename@hostname:~/

4.通过ssh命令更新文件以及查看slaves上面软件安装情况

ssh root@hostname service /etc/profile
ssh usename@hostname service ~/.bashrc
ssh root@hostname service iptables status(防火墙必须关闭）

5. 启动 Hadoop

在 master 上执行以下操作，就可以启动 hadoop 了。

cd ~/workspace/hadoop-2.6.0 #进入hadoop目录
bin/hadoop namenode -format #格式化namenode
sbin/start-dfs.sh #启动dfs
sbin/start-yarn.sh #启动yarn
验证 Hadoop 是否安装成功

可以通过jps命令查看各个节点启动的进程是否正常。在 master 上应该有以下几个进程：

$ jps #run on master
3407 SecondaryNameNode
3218 NameNode
3552 ResourceManager
3910 Jps

在每个slave上应该有以下几个进程：

$ jps #run on slaves
2072 NodeManager
2213 Jps
1962 DataNode

浏览器中输入 http://master:8088 ，应该有 hadoop 的管理界面出来了，并能看到 slave1 和 slave2 节点。

6. Spark安装

A.在安装目录下解压

tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz

B. Spark配置

cd ~/workspace/spark*….*/conf #进入spark配置目录
cp spark-env.sh.template spark-env.sh #从配置模板复制
vim spark-env.sh #添加配置内容

在spark-env.sh末尾添加以下内容（这是我的配置，你可以自行修改）

export SCALA_HOME=/home/spark/workspace/scala-2.10.4export JAVA_HOME=/home/spark/workspace/jdk1.7.0_75export HADOOP_HOME=/home/spark/workspace/hadoop-2.6.0export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopSPARK_MASTER_IP=masterSPARK_LOCAL_DIRS=/home/spark/workspace/spark-1.3.0SPARK_DRIVER_MEMORY=1G

(注：在设置Worker进程的CPU个数和内存大小，要注意机器的实际硬件条件，如果配置的超过当前Worker节点的硬件条件，Worker进程会启动失败。)

vim slaves在slaves文件下填上slave主机名：

slave1
slave2

将配置好的spark-1.3.0文件夹分发给所有slaves吧

scp -r ~/workspace/spark-1.3.0 spark@slave1:~/workspace/

启动Spark
sbin/start-all.sh

验证 Spark 是否安装成功

master 上应该有以下几个进程：
$ jps
7949 Jps
7328 SecondaryNameNode
7805 Master
7137 NameNode
7475 ResourceManager

在 slave 上应该有以下几个进程：

$jps
3132 DataNode
3759 Worker
3858 Jps
3231 NodeManager

进入Spark的Web管理页面： http://master:8080

7. 运行示例

本地模式两线程运行

./bin/run-example SparkPi 10 –master local[2]

Spark Standalone 集群模式运行

./bin/spark-submit \
–class org.apache.spark.examples.SparkPi \
–master spark://master:7077 \
lib/spark-examples*-hadoop2.4.0.jar \
100

Spark on YARN 集群上 yarn-cluster 模式运行

./bin/spark-submit \
–class org.apache.spark.examples.SparkPi \
–master yarn-cluster \ # can also be yarn-client
lib/spark-examples*.jar \
10
注意 Spark on YARN 支持两种运行模式，分别为yarn-cluster和yarn-client，从广义上讲，yarn-cluster适用于生产环境；而yarn-client适用于交互和调试，也就是希望快速地看到application的输出。