docker1.7 搭建spark1.4.0-hadoop2.6集群

来源：互联网发布：淘宝被恶意退款编辑：程序博客网时间：2024/06/06 02:51

1 概述

现在国内的资料很少，即使你看到了，资料也不是很全，每个人都为中国在这方面做点贡献，也是为了相互学习。作为学习Spark中的一个重要环节--搭建Spark集群，此次搭建环境使用了Docker1.7，Spark1.4-hadoop2.6，搭建的集群环境，操作系统为CentOS6.5，内存4G

2 升级Linux内核

具体的什么是Docker，以及Docker的基本原理等，我在这里就不在介绍了。

2.1 查看系统内核版本

# lsb_release -a

LSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch
Distributor ID: CentOS
Description:    CentOS release 6.5 (Final)
Release:        6.5
Codename:       Final
# uname -a
Linux xxxxxxx 2.6.32-431.23.3.el6.x86_64 #1 SMP Thu Jul 31 17:20:51 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
因为 Docker 推荐使用 3.8 以上内核，所以我们选择使用 YUM 方式来升级内核。
2.2 升级Linux内核版本

2.2.1 联网安装 （本部分参考http://dockerpool.com/article/1415195109）

# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# yum --enablerepo=elrepo-kernel install kernel-lt -y

vi /etc/grub.conf 修改默认的启动内核，新安装的内核一般在第一个，这里把default = 1 改为 default = 0 就好了。

重启云主机，查看内核是否升级成功。
# uname -a
Linux xxxxxxx 3.10.59-1.el6.elrepo.x86_64 #1 SMP Thu Oct 30 23:46:31 EDT 2014 x86_64 x86_64 x86_64 GNU/Linux

注意：不知道怎么的使用的他们的办法行不通，升级的Linux内核版本还是2.6的，改为下载rpm包安装

2.2.2 手动安装

下载kernel-lt-3.10.86-1.el6.elrepo.x86_64.rpm，下载地址：http://elrepo.reloumirrors.net/kernel/el6/x86_64/RPMS/kernel-lt-3.10.86-1.el6.elrepo.x86_64.rpm

rpm -ivh kernel-lt-3.10.86-1.el6.elrepo.x86_64.rpm

vi /etc/grub.conf 修改默认的启动内核，新安装的内核一般在第一个，这里把default = 1 改为 default = 0 就好了。

重启云主机，查看内核是否升级成功。
# uname -a
Linux xxxxxxx 3.10.86-1.el6.elrepo.x86_64 #1 SMP Thu Oct 30 23:46:31 EDT 2014 x86_64 x86_64 x86_64 GNU/Linux

3 安装与配置Docker（保持网络畅通）

3.1 安装

yum install docker-io

3.2 配置文件

# vi /etc/sysconfig/docker
other-args列更改为：other_args="--exec-driver=lxc --selinux-enabled"

3.3 启动Docker

service docker start

3.4 设置开机自动启动

chkconfig docker on

3.5 查询docker版本

docker version：查看docker的版本号，包括客户端、服务端、依赖的Go等

3.6 查询docker信息

docker info

不好了出现个这个问题（没法链接docker的守候进程）：Cannot connect to the Docker daemon. Is 'docker -d' running on this host?

那就按他说的做吧：docker -d
若是docker: relocation error: docker: symbol dm_task_get_info_with_deferred_remove, version Base not defined in file libdevmapper.so.1.02 with link time reference
进行这个操作：yum upgrade device-mapper-libs

3.7 测试一下（docker的一些命令你需要知道一些哦）

# docker pull dl.dockerpool.com:5000/ubuntu:14.04
# docker images

REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE
dl.dockerpool.com:5000/ubuntu latest 5506de2b643b 12 days ago 197.8 MB

启动一个容器看看：

docker run -ti ubuntu

4 搭建spark集群

4.1 pull spark镜像

docker pull sequenceiq/spark:1.4.0

这个过程很慢的，并且你的网速还要很好，要是你的网速不好的话，去我的网盘上拿吧

加载本地镜像：docker load spark1.4.0.tar

4.2 创建镜像

docker build --rm -t sequenceiq/spark:1.4.0 .

运行时将Docker-hub上的那个Dockerfile下载下来，放到你运行该指令的文件目录下

下载地址：https://github.com/sequenceiq/docker-spark/blob/master/Dockerfile

4.3 启动并创建容器

创建一个master容器：docker run --name master -it -p 8088:8088 -p 8042:8042 -p 8085:8080 -p 4040:4040 -p 7077:7077 -p 2022:22 -v /data:/data -h master sequenceiq/spark:1.4.0 bash

说明：--name 表示创建的容器的名称，-it可以理解创建一个标准的临时终端，-p表示映射本地到容器的端口 -v 建立本地到容器的文件，就是让本地的data文件和容器上的文件共享，-h设置容器的机器名

创建三个worker容器（在三个不同终端运行）：

docker run --name worker1 -it -h worker1 sequenceiq/spark:1.4.0 bash

docker run --name worker2 -it -h worker2 sequenceiq/spark:1.4.0 bash

docker run --name worker3 -it -h worker3 sequenceiq/spark:1.4.0 bash

四个容器现在已经建立成功了，相互ping一下，若是平不通的话，请关闭本地的防火墙： service iptables stop

5 spark集群配置文件

5.1 关闭每个容器上的hadoop集群

cd /usr/local/hadoop-2.6.0/sbin/

./stop-all.sh

5.2 配置每个容器上的hosts文件

vi /etc/hosts

172.17.0.2      master
172.17.0.3      worker1
172.17.0.4      worker2
172.17.0.5      worker3
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

5.2 配置每个容器上hadoop的slaves文件

vi /usr/local/hadoop-2.6.0/etc/hadoop/slaves

配置为

worker1
worker2

worker3

5.2 配置每个容器上core-site.xml

vi /usr/local/hadoop-2.6.0/etc/hadoop/core-site.xml

配置为（注意红色部分）

<configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
</configuration>

5.3 配置每个容器上spark的slaves文件

cd /usr/local/spark-1.4.0-bin-hadoop2.6/conf

cp slaves.template slaves

vi slaves

配置为

worker1
worker2

worker3

5.4 配置每个容器上Spark的spark-env.sh

cd /usr/local/spark-1.4.0-bin-hadoop2.6/conf/

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

添加

export SPARK_MASTER_IP=master
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=1g
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}

6 启动spark集群

6.1 在master上启动hadoop集群

cd /usr/local/hadoop-2.6.0/sbin/

#./start-all.sh

在master上可以查看jps

bash-4.1# jps
2441 NameNode
2611 SecondaryNameNode
2746 ResourceManager
3980 Jps

在worker上查看

bash-4.1# jps
1339 DataNode

1417 NodeManager
2290 Jps

6.2 在master上启动spark集群

cd /usr/local/spark-1.4.0-bin-hadoop2.6/sbin/

./start-all.sh