Docker 1.9 Overlay Network实现跨主机网络互通

11月4日，Docker发布了1.9版本，实现了原本实验性的Networking组件的支持。用户可以在Swarm中使用它或者将其作为Compose 工具。创建虚拟网络并将其连接到容器上，可实现多个主机上容器相互通信，并且实现不同的应用程序或者应用程序不同部分能够相互隔离。互联子系统设计为可插拔式，兼容VXLAN或者IPVLAN等技术。


Docker 容器实现跨主机通讯主要通过几种方式：自带overlay network插件，第三方插件如weave、ovs等，docker swarm（虽然也是通过key value service进行调用）。在这里主要介绍直接使用自带插件，以及通过docker swarm的两种实现方式。


直接使用自带插件实现容器跨主机访问 


测试环境为ubuntu14.04。根据docker建议要求，将内核升级到3.19.如果内核版本过低，将会出现overlay network创建失败或加入失败等一系列问题。


内核升级


#apt-get install linux-generic-lts-vivid


升级完成，重启主机。


# uname -a
Linux ukub09 3.19.0-33-generic #38~14.04.1-Ubuntu SMP Fri Nov 6 18:17:28 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux


启动key value service
可以选择使用zookeeper、etcd、consul等多种组件。本例使用额外一台虚拟机，启用和官方文档相一致的consul镜像。


docker $(docker-machine config consul2) run -d \
    -p "8501:8500" \
    -h "consul" \
    progrium/consul -server -bootstrap


此时可以通过ip:8501对consul服务进行访问。


将key value service信息加入docker daemon
修改希望加入docker overlay network的所有主机上docker daemon服务。


#vi /etc/dafault/docker
DOCKER_OPTS='
-H tcp://0.0.0.0:2376
-H unix:///var/run/docker.sock
--cluster-store=consul://172.25.2.43:8501
--cluster-advertise=eth0:2376


'


通过修改以下两个参数实现
--cluster-store= 参数指向docker daemon所使用key value service的地址
--cluster-advertise= 参数决定了所使用网卡以及docker daemon端口信息


重启docker服务。


#service docker restart


docker 网络的创建与操作
此时可以通过docker network create创建-d overlay属性的驱动。


#docker network create -d overlay over


列出当前网络


root@ukub10:~# docker network ls
NETWORK ID          NAME                DRIVER
b95efb2ab985        over                overlay             
0a4a123fc278        bridge              bridge              
2da9ecadf108        none                null                
5ca3275ec2a9        host                host        


        


在另一台已加入key value service指向的主机上同样可以看到这个网络


root@ukub09:~# docker network ls
NETWORK ID          NAME                DRIVER
b95efb2ab985        over                overlay             
b5f9713c9f2b        bridge              bridge              
16e1cdf30f97        none                null                
cf257529463c        host                host


docker网络的连接方式
可以在两台主机上分别创建容器，互相进行ping或ssh访问。官方文档例子创建一个nginx容器，并在另一个容器内抓取其状态进行验证。这里不再详述。


创建容器接入指定网络


#docker run -itd --name=testcontainer --net=over  nginx


将容器从指定网络中退出


#docker network disconnect over testcontainer 


重新连入指定网络


#docker network connect over testcontainer


连接与断开将会是实时的。在连接之后，即可通过容器名访问本网络中所有容器。

 使用Swarm创建docker cluster实现跨主机管理和网络访问 
根据官方文档，需要搭建起基于swarm的cluster，来实现Docker overlay network。为部署整套Docker cluster，需要安装docker machine/compose/swarm等组件。
使用第三方网络插件实现跨主机容器通讯也变得更容易了。


安装docker machine
docker machine用来进行docker的推送安装，可以在许多driver上安装部署docker：


- amazonec2 azure digitalocean exoscale generic google none
  openstack rackspacesoftlayervirtualboxvmwarevcloudair
  vmwarevsphere


首先需要安装好docker engine，之后下载并将docker machine的库文件移动到bin下。


#curl -L https://github.com/docker/machine/releases/download/v0.5.0/docker-machine_linux-amd64.zip >machine.zip && \
unzip machine.zip && \
rm machine.zip && \
mv docker-machine* /usr/local/bin


验证安装


# docker-machine -v
docker-machine version 0.5.0 (04cfa58)
# docker-machine ls
NAME   ACTIVE   DRIVER   STATE   URL   SWARM


官方文档的使用virtualbox进行各种角色主机的启用。本篇文档则在已有的虚拟机环境中进行。


使用docker-machine进行推送安装
首先需要拥有一台linux系统，并使docker-machine主机可以无密码访问到这台系统。


#ssh-copy-id -i /root/.ssh/id_rsa.pub root@172.25.2.43


之后即可通过docker-machine进行安装。


安装通过internet下载相关包，并通过docker-machine进行设置安装的。必须保证网络畅通，否则可能安装失败。


#docker-machine create -d generic --generic-ip-address=172.25.2.43 --generic-ssh-user=root test5


安装后，可以查看所有被docker-machine安装控制后的主机状态


# docker-machine ls
NAME        ACTIVE   DRIVER    STATE     URL                      SWARM
c0-master   -        generic   Running   tcp://172.25.2.44:2376   c0-master (master)
c0-n1       -        generic   Running   tcp://172.25.2.45:2376   c0-master
c0-n2       -        generic   Running   tcp://172.25.2.46:2376   c0-master
dm01        -        generic   Running   tcp://172.25.2.43:2376   
local       -        generic   Running   tcp://172.25.2.34:2376


可以查看相应主机的环境变量


#docker-machine env local 


把当前操作环境变更为指定主机


#eval "$(docker-machine env local)"


在docker-machine主机上操纵host 


#docker $(docker-machine config local) run -tid ubuntu /bin/bash


通过ssh连接到相应主机


# docker-machine ssh dm01


Docker Compose安装
docker compose用于同时启动多个容器，构成同一组应用环境，在这里用于支持swarm的安装。


#curl -L https://github.com/docker/compose/releases/download/1.5.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose


Docker Swarm集群安装
启用一台主机安装key value service，用于节点、主机发现等工作。
本例使用了consul的镜像，也可以使用如etcd、zookeeper等组件。


在dm01上启动一个consul服务：


docker $(docker-machine config dm01) run -d \
    -p "8500:8500" \
    -h "consul" \
    progrium/consul -server -bootstrap


创建swarm集群可以通过key value服务，也可以使用swarm cluster ID字符串创建。


创建swarm manager


{{{docker-machine create \
  -d generic --generic-ip-address=172.25.2.44 --generic-ssh-user=root\
  --swarm \
  --swarm-master \
  --swarm-discovery="consul://$(docker-machine ip dm01):8500" \
  --engine-opt="cluster-store=consul://$(docker-machine ip dm01):8500" \
  --engine-opt="cluster-advertise=eth0:2376" \
  c0-master}}}


创建swarm node


{{{docker-machine create \
  -d generic --generic-ip-address=172.25.2.45 --generic-ssh-user=root \
  --swarm \
  --swarm-discovery="consul://$(docker-machine ip dm01):8500" \
  --engine-opt="cluster-store=consul://$(docker-machine ip dm01):8500" \
  --engine-opt="cluster-advertise=eth0:2376" \
  c0-n1


docker-machine create \
  -d generic --generic-ip-address=172.25.2.46 --generic-ssh-user=root \
  --swarm \
  --swarm-discovery="consul://$(docker-machine ip dm01):8500" \
  --engine-opt="cluster-store=consul://$(docker-machine ip dm01):8500" \
  --engine-opt="cluster-advertise=eth0:2376" \
  c0-n2}}}


Overlay Network创建
设置环境变量


#eval "$(docker-machine env --swarm c0-master)"


可以用docker info看到现在的集群状况


#docker network create -d overlay myStack1


root@local:~# docker network ls
NETWORK ID          NAME                DRIVER
685ed9e9f701        myStack1            overlay             
4c88e7c52a7c        c0-n1/bridge        bridge              
7fd49a4f6a64        c0-n1/none          null                
8b2372139902        c0-n2/host          host                
d998a91dcfea        c0-n2/bridge        bridge              
afd7a1190fb4        c0-n2/none          null                
0f2b5dae67f7        c0-n1/host          host                
a45b8049f8e6        c0-master/bridge    bridge              
d13eed83f250        c0-master/none      null                
364a592ae9ae        c0-master/host      host  


测试
在c0-n1上启动一个nginx，并加入myStack1网络


#docker run -itd --name=web --net=myStack1 --env="constraint:node==c0-n1" nginx


在c0-n2上启动一个shell，同样加入myStack1网络


#docker run -ti --name=webtest --net=myStack1 --env="constraint:node==c0-n2" ubuntu /bin/bash


在shell中将可以通过容器名或ip获取到web容器的状态


#apt-get install wget
#wget -O- http://web




docker在官方文档上主推以swarm的方式创建cluster，相对比较复杂，但提供了整体Cluster的解决方案，可以将容器进行整体管理、推送、使用。