spark1.4的集群搭建

使用的版本：

scala 2.11.7 

hadoop 2.6.0 

spark 1.4.0

一. 搭建hadoop

1.下载三个软件包

2. 将软件包上传到master和slave结点上（Xshell传输，点->按钮向右传输） 

3. 修改hosts文件（根目录的/etc/hosts），将三个机器的机器名称及IP地址都写入里面

4. 关闭防火墙 service iptables stop（如果不关防火墙，则有可能造成无法登陆本身的结点）

5. .ssh无秘钥配置（这里很重要），最后要能连上自己，也能无密码登陆slave结点，命令是

  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

  cat id_dsa.pub >> authorized_keys（三个结点上分别都要执行）

  scp root@master:~/.ssh/id_dsa.pub ./master_dsa.pub（这两句分别是在两个slave 结点上执行）

  cat master_dsa.pub >> authorized_keys

 

 这样master结点就可以连接slave结点了

6. 配置hadoop中的core-site.xml、hdfs-site.xml、mapred-site.xml.template、yarn-site.xml

7. 配置yarn-env.sh, hadoop-env.sh，export JAVA_HOME    注意： echo $JAVA_HOME 可以查看jdk安装位置

8. namenode格式化  ./bin/hdfs namenode -format

9. 启动hdfs和yarn，./sbin/start-dfs.sh  ./sbin/start-yarn.sh（一定要加sbin，不然找不到结点）

master:50070查看HDFS集群      

master:8088 查看yarn

master:4040 spark查看job

master:19888 查看jobhistory

发现slave结点上datanode没有启动，这时发现是slaves文件里面没有修改，将两个slave结点的名称写进去，则datanode被启动

在传送jdk时，使用scp命令，如果不加-r，则会出现jdk is not a regular file这样的错误

将namenode格式化前，然后将dfs文件夹删掉，重新建一个dfs文件夹，然后再进行格式化。

注意目录要写正确

启动hadoop时，提示中有奇怪的路径。经察看，发现是jdk安装路径的问题。

发现无法启动datanode，发现是slave文件忘记写。

二. 安装scala(所有节点都安装)

1. 在官网上下载scala

2. 解压和安装 tar -xvf scala-2.11.7.tgz

3. 增加SCALA_HOME环境变量配置

    在/etc/profile下增加：

    export JAVA_HOME=/home/spark/opt/java/jdk1.8.0_05
    export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
    export SCALA_HOME=/home/spark/opt/scala-2.11.7
    export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0
    PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin

    然后source /etc/profile生效

4. 验证scala: scala -version

三. 搭建spark

1. 下载spark(先确定使用hadoop版本，然后再确定spark版本，可直接使用prebuild版本，不需再编译)

2. master主机配置：

    在/etc/profile中增加SPARK_HOME：

     export JAVA_HOME=/home/spark/opt/java/jdk1.8.0_05

    export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
    export SCALA_HOME=/home/spark/opt/scala-2.11.7
    export HADOOP_HOME=/home/spark/opt/hadoop-2.6.0
   export SPARK_HOME=/home/spark/opt/spark-1.2.0-bin-hadoop2.4
    PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:

${HADOOP_HOME}/bin

   然后source /etc/profile生效

3. 修改conf/slaves文件，在其中增加两个节点的名称

4. 配置spark-env.sh:

    export JAVA_HOME=usr/intern/java/jdk1.8.0_05

    export SCALA_HOME=/usr/intern/scala-2.11.7
    export SPARK_MASTER_IP=10.10.108.202:8085(这里可以不写端口号，这样就是默认8080)
    export SPARK_WORKER_MEMORY=2g
    export HADOOP_CONF_DIR=/root/spark_install/hadoop-2.6.0/etc/hadoop

5.  worker节点配置

    完成配置后，将spark目录copy slave机器 scp -r ~/spark_install/spark-1.4.0 [e-mail]2:~/spark_install/  再用相同的命令发送到slave节点

6. 启动spark 

    ./sbin/start-all.sh  master:8085察看spark集群，注意要看看datanode是不是全

   ./sbin/stop-all.sh

    在启动spark后，进入bin目录，可以spark-shell启动一个Application，然后再运行命令，运行spark里面的example master:4040 可以察看job

PATH后增加：${SCALA_HOME}/bin

注意：PATH如果不包含vim安装位置时，会找不到vim命令

PATH的书写方法：export PATH=$PATH:${SCALA_HOME}/bin或将$PATH加在最后，但要在前面加:

netstat -ano | grep 8080 查看8080端口是否被占用

出现问题：只启动了Master结点上的worker，没有启动slave结点上的worker，后发现是没有配slaves这个文件

出现问题：端口8080被tomcat占用，因而无法启动worker，察看logs下的日志，发现是端口占用的问题。因而在sbin/start-master.sh将端口改为8085，spark的web页面就可以登上了.

去掉安全模式 bin/hadoop dfsadmin -safemode leave

查看jdk安装位置 java -version一定要确定jdk正确

每次将namenode格式化前，要将每个节点（包括master和slave）都删除掉dfs和tmp文件夹，再新建这两个文件夹，在dfs文件夹中新建data和name两个文件夹。