spark集群环境配置

项目中实现的spark集群环境配置：

一、当前环境

1. 服务器IP:192.168.101.41～46

   用户名：root     密码：zcah%2016

2. 服务器环境：CentOS 7.2

二、软件准备

1. spark-1.6.1-bin-hadoop2.6.tgz

2. jdk-8u91-linux-x64.tar.gz

三、JDK安装

解压jdk-8u91-linux-x64.tar.gz到/usr/local/java目录下

四、ssh免登陆

(1)hosts文件配置，主机名与对应IP关系如下

 

(2)在三台机器中分别执行以下两个命令，以便实现无密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

(3)分别将host2～host6的公钥 id_dsa.pub传给 master

scp ~/.ssh/id_dsa.pub root@host1:~/.ssh/id_dsa.pub.host2

scp ~/.ssh/id_dsa.pub root@host1:~/.ssh/id_dsa.pub.host3

... ...      

(4)将host2～host6的公钥信息追加到host1的authorized_keys文件中

    cat id_dsa.pub.host2 >> authorized_keys

cat id_dsa.pub.host3 >> authorized_keys

... ...

(5)将 master的公钥信息authorized_keys分发到host2～host6完成免密码登录

scp authorized_keys root@host2:~/.ssh/authorized_keys

    scp authorized_keys root@host3:~/.ssh/authorized_keys

... ...

五、Spark安装

1. Master机器

(1)解压spark-1.6.1-bin-hadoop2.6.tgz到 /usr/local目录下

(2)修改环境变量文件vim~/.bashrc，添加以下内容

   source .bashrc使配置文件生效

(3)Spark 配置

   进入 Spark安装目录下的conf目录，拷贝spark-env.sh.template到spark-env.sh，编辑 spark-env.sh，在其中添加以下配置信息：

将slaves.template拷贝到slaves，编辑其内容为：

2. Slaver机器

host2～host6的配置参照master机器安装步骤进行安装，可直接将host1的spark-env.sh与slaves分发至host2～host6的/conf文件夹下，只需修改spark-env.sh中的SPARK_LOCAL_IP=对应的主机名即可。

六、启停集群

在master机器上运行start-all.sh即可启动服务，运行stop-all.sh即可停止所有服务。