Docker网络（一）---------原生支持

来源：互联网发布：2017淘宝评价计分规则编辑：程序博客网时间：2024/05/16 01:21

在部署大规模Docker集群时，网络成为了最大挑战。

纯粹的Docker原生网络功能无法满足广大云计算厂商的需要，于是一大批第三方的SDN解决方案如雨后春笋般涌现出来，如Pipework, Weave, Flannel, SocketPlane等。

2015年3月,Docker宣布收购SocketPlane,一个新的Docker子项目"Libnetwork"开始酝酿。一个月后，Libnetwork在github上正式与开发者见面，预示着Docker开始在网络方面发力。

Libnetwork

https://github.com/docker/libnetwork

libnetwork提出了新的容器网络模型（CNM, Container Network Model)，定义了标准的API用于为容器配置网络，其底层可以适配各种网络驱动。如下图所示：

CNM有三个重要的组件

沙盒：

沙盒是一个隔离的网络运行环境，保存了容器网络栈的配置，包括了对网络接口，路由表和DNS配置的管理。在Linux上，是用Network Namespace实现的，在其他平台上可能有不同的实现，比如FreeBSD Jail。一个沙盒可以包含来自多个网络的多个Endpoint。

Endpoint:

一个Endpoint用于将沙盒加入一个网络。Endpoint的实现可以是veth pair或者OVS内部端口。当前libnetwork的实现是veth pair.一个Endpoint只能属于一个沙盒及一个网络。通过给沙盒增加多个Endpoint可以将一个沙盒加入多个网络。

网络：

网络由一组能够相互通信的Endpoint组成。网络的实现可以是linux bridge,vlan等。

Libnetwork的出现使得Docker具备了跨主机多子网的能力，同一个子网内的不同容器可以运行在不同的主机上。

Libnetwork目前已经实现了5种驱动：

bridge:

Docker默认的容器网络驱动。Container通过一对veth pair连接到docker0网桥上，由Docker为容器动态分配IP及配置路由，防火墙规则等。

host:

容器与主机共享同一Network Namespace,共享同一套网络协议栈，路由表及iptables规则等。容器与主机看到的是相同的网络视图。

null:

容器内网络配置为空，需要用户手动为容器配置网络接口及路由。

remote:

Docker网络插件的实现。Remote driver使得Libnetwork可以通过HTTP RESTFUL API对接第三方的网络方案，类似SocketPlane的SDN方案，只要实现了约定的HTTP URL处理函数及底层的网络接口配置方法，就可以替换Docker原生的网络实现。

overlay:

Docker原生的跨主机多子网网络方案。主要通过使用Linux bridge和vxlan隧道实现，底层通过类似于etcd和consul的KV存储系统实现多机的信息同步。

基本网络配置

Docker网络初探

none:不为容器配置任何网络

$ docker run --net=none -it --name d1 debian ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
zhangxa@ubuntu:~$

可以看到容器仅有一个lo环回接口，使用--net=none启动容器之后，仍然可以手动为容器配置网络。

container:与另一个运行中的容器共享Network namespace,共享相同的网络视图。

首先以默认网络配置(birdge模式)启动一个容器，设置hostname为dockeNet,dns为8.8.4.4

$ docker run -h dockerNet --dns 8.8.4.4 -itd debian bash
b8e47afe77af504ca8c46d52b1a7e709aa9abae8532df74ace8887d87887dd24
zhangxa@ubuntu:~$ docker exec -it b8e4 bash
root@dockerNet:/# ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
25: eth0@if26: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:ac:11:00:0c brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.12/16 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fe11:c/64 scope link
       valid_lft forever preferred_lft forever
root@dockerNet:/#

然后以--net=container:b8e4方式启动另一个容器:

$ docker run --net=container:b8e4 -it debian bash
root@dockerNet:/# ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
25: eth0@if26: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:ac:11:00:0c brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.12/16 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fe11:c/64 scope link
       valid_lft forever preferred_lft forever
root@dockerNet:/#

可以看到，使用--net=container:b8e4参数启动容器，其IP地址，DNS，hostname都继承了容器b8e4。实质上两个容器是共享同一个Network Namespace的，自然网络配置也是完全相同的。

host:与主机共享Root Network Namespace,容器有完整的权限可以操纵主机的协议栈，路由表和防火墙等，所以是不安全的。

相应的,host模式启动时需要指定--net=host参数。

$ docker run -it --net=host debian bash
root@ubuntu:/# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 1000
    link/ether 00:0c:29:30:e2:e6 brd ff:ff:ff:ff:ff:ff
    inet 192.168.124.6/24 brd 192.168.124.255 scope global dynamic ens34
       valid_lft 74081sec preferred_lft 74081sec
    inet6 fe80::3b06:154f:8b60:76e5/64 scope link
       valid_lft forever preferred_lft forever
3: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:30:e2:dc brd ff:ff:ff:ff:ff:ff
    inet 192.168.17.140/24 brd 192.168.17.255 scope global dynamic ens33
       valid_lft 1339sec preferred_lft 1339sec
    inet6 fe80::d1e2:6e4d:a046:a2ed/64 scope link
       valid_lft forever preferred_lft forever
4: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:4d:eb:09:d0 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:4dff:feeb:9d0/64 scope link
       valid_lft forever preferred_lft forever
root@ubuntu:/#

host模式下，容器可以操纵主机的网络配置，这是很危险的，除非万不得已，应该尽可能避免使用host模式。

bridge:Docker设计的NAT网络模型。

Docker daemon启动时会在主机创建一个Linux网桥(默认为docker0,可通过-b参数手动指定)。容器启动时，Docker会创建一对veth pair设备，veth设备的特点是成对存在，从一端进入的数据会同时出现在另一端。Docker会将一端挂载到docker0网桥上，另一端放入容器的Network Namespace内，从而实现容器与主机通信的目的。

bridge模式下的风格拓扑如下图所示:

在桥接模式下，Docker容器与Internet的通信，以及不同容器之间的通信，都是通过iptables控制的。

Docker网络的初始化动作包括：创建docker0网桥，为docker0网桥新建子网及路由，创建相应的iptables规则等。

我们可以查看主机的路由表:

$ route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.17.2    0.0.0.0         UG    100    0        0 ens33
0.0.0.0         192.168.124.1   0.0.0.0         UG    101    0        0 ens34
169.254.0.0     0.0.0.0         255.255.0.0     U     1000   0        0 ens33
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0

查看iptables:

# iptables -vnL
Chain INPUT (policy ACCEPT 93127 packets, 32M bytes)
pkts bytes target     prot opt in     out     source               destination

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
pkts bytes target     prot opt in     out     source               destination
678 109K DOCKER-ISOLATION all -- *      *       0.0.0.0/0            0.0.0.0/0
326 76320 DOCKER     all -- *      docker0 0.0.0.0/0            0.0.0.0/0
326 76320 ACCEPT     all -- *      docker0 0.0.0.0/0            0.0.0.0/0            ctstate RELATED,ESTABLISHED
352 32742 ACCEPT     all -- docker0 !docker0 0.0.0.0/0            0.0.0.0/0
    0     0 ACCEPT     all -- docker0 docker0 0.0.0.0/0            0.0.0.0/0

Chain OUTPUT (policy ACCEPT 58576 packets, 27M bytes)
pkts bytes target     prot opt in     out     source               destination

Chain DOCKER (1 references)
pkts bytes target     prot opt in     out     source               destination
    0     0 ACCEPT     tcp -- !docker0 docker0 0.0.0.0/0            172.17.0.2           tcp dpt:12384
    0     0 ACCEPT     tcp -- !docker0 docker0 0.0.0.0/0            172.17.0.2           tcp dpt:12383
    0     0 ACCEPT     tcp -- !docker0 docker0 0.0.0.0/0            172.17.0.4           tcp dpt:12382
    0     0 ACCEPT     tcp -- !docker0 docker0 0.0.0.0/0            172.17.0.9           tcp dpt:12380
    0     0 ACCEPT     tcp -- !docker0 docker0 0.0.0.0/0            172.17.0.9           tcp dpt:2379
    0     0 ACCEPT     tcp -- !docker0 docker0 0.0.0.0/0            172.17.0.11          tcp dpt:8080
    0     0 ACCEPT     tcp -- !docker0 docker0 0.0.0.0/0            172.17.0.5           tcp dpt:12381
    0     0 ACCEPT     tcp -- !docker0 docker0 0.0.0.0/0            172.17.0.6           tcp dpt:4443
    0     0 ACCEPT     tcp -- !docker0 docker0 0.0.0.0/0            172.17.0.7           tcp dpt:2375
    0     0 ACCEPT     tcp -- !docker0 docker0 0.0.0.0/0            172.17.0.3           tcp dpt:2376
    0     0 ACCEPT     tcp -- !docker0 docker0 0.0.0.0/0            172.17.0.8           tcp dpt:4443

Chain DOCKER-ISOLATION (1 references)
pkts bytes target     prot opt in     out     source               destination
678 109K RETURN     all -- *      *       0.0.0.0/0            0.0.0.0/0
root@ubuntu:~#

查看docker0网桥:

# brctl show
bridge name   bridge id       STP enabled   interfaces
docker0       8000.02424deb09d0   no       veth0f652b1
                           veth11e2546
                           veth3d102a8
                           veth4c5b172
                           veth9b3638d
                           vethab542f0
                           vethae532c8
                           vethcd8f58a
                           vethd23a8f0
                           vethf32305b
                           vethf8df181
每个bridge模式启动的容器都会在docker0上创建一个veth.

overlay:Docker原生的跨主机多子网模型

overlay网络模型比较复杂，底层需要类似consul或etcd的KV存储系统进行消息同步，核心是通过linux bridge与vxlan隧道实现跨主机划分子网。

如下图所示：每创建一个网络,Docker会在主机上创建一个单独的沙盒，沙盒的实现实质上是一个Network Namespace。在沙盒中，Docker会创建名为br0的网桥，并在网桥上增加一个vxlan接口，每个网络占用一个vxlan ID,当前Docker创建vlxan隧道的ID范围为256~1000，因而最多可以创建745个网络。当添加一个容器到某一个网络上时，Docker会创建一对veth网卡设备，一端连接到此网络相关沙盒内的br0网桥上，别一端放入容器沙盒内，并设置br0的IP地址作为容器内路由默认的网关地址，从而实现容器加入网络的目的。

容器1和容器4属于一个网络，容器1需要通过256号vxlan隧道访问另一台主机的容器4.Docker通过vxlan和linux网桥实现了跨主机的虚拟子网功能。

0 0