LVS/Tun 成功案例

前阵子在LVS中文站找资料，发现很多人反应LVS的TUN模式搭建不成功，很多人反应网上的资料很混杂，但是照着做都没做成功，稍微有点郁闷。这里分享一个成功的案例，希望能帮到有需要的朋友。

     本文将介绍IPIP协议，LVS/TUN 搭建，以及在TUN模式下通过iptables实现端口转发等内容。

     之前看了很多网上的资料都说企业中用的最多的是DR模式，因为DR相比于TUN不用额外的开销之类的，但是DR是不是真的就那么完美呢？其实不是的，当服务器的规模一大，问题就出来了，我们知道DR模式下的Director和RealServer必须是同一网段的，那么当服务器足够多的时候，就会出现问题。假设机房给了你一整个C网段的IP地址，而你的真实服务器有成千上万台，这种情况下，DR的局限性就出来了，而TUN模式是可以跨网段，跨地域通信的， 不存在这方面的顾虑。

一、IP Tunnel 原理

   IP Tunnel，又叫IPIP，是一种将一个IP封装到另外一个IP中进行传输的技术。通常需要两个部件：封装部件和解包部件，两端各需要一个IP地址，且两个IP地址能够直接通信。它的工作原理是：在封装部件将一个IP封装到封装部件地址（隧道端的IP）上，并以解包部件地址（IP隧道另一端的地址）为目标地址进行转发。解包部件接受到封装好的数据包后，先进行解包，对数据报进行还原，再以数据报原目标地址为目标地址转发数据报，从而实现通信。用一句话总结就是：将两个无法直接通信的IP，封装在两个能够直接通信的IP，借助IP Tunnel 进行传输、通信。此时，隧道两端的IP地址便是一个载体，提供传输的功能。完整的封包结构如下所示：

   说了这么多，是不是对概念还不太清晰？没关系，接着看下面的实验，做完实验再回头看原理，或许会有另外的收获。

二、IP Tunnel实验

IP 分配

node1     10.1.1.101/24           192.168.1.1/24

node2      10.1.1.103/24            192.168.2.1/24

在不做任何配置的情况下，10.1.1.101/24能够直接与10.1.1.103/24通信，而192.168.1.1/24不能直接与192.168.2.1/24进行通信。

node1 配置

root@node1:~# modprobe ipip

root@node1:~# modprobe ip_gre

root@node1:~# ip tunnel add tun0 mode gre remote 10.1.1.103 local 10.1.1.101 ttl 64

root@node1:~# ip link set tun0 up

root@node1:~# ip addr add 192.168.1.1 peer 192.168.2.1 devtun0

root@node1:~# ip route add 192.168.2.0/24 dev tun0

node2 配置

root@node2:~# modprobe ipip

root@node2:~# modprobe ip_gre

root@node2:~# ip tunnel add tun0 mode gre remote 10.1.1.101 local 10.1.1.103 ttl 64

root@node2:~# ip link set tun0 up

root@node2:~# ip addr add 192.168.2.1 peer 192.168.1.1 dev tun0

root@node2:~# ip route add 192.168.1.0/24 dev tun0

再次在node1上ping node2可以发现192.168.1.1/24和 192.168.2.1/24两个网段能够通信。

http://blog.sina.com.cn/s/blog_9025a42d010193gt.html

VS/TUN原理:
    LB收到用户请求包后，根据IP隧道协议封装该包，然后传给某个选定的RS；RS解出请求信息，直接将应答内容传给用户。
    此时要求RS和LB都要支持IP隧道协议。
    LB与RS可以不在同一个网络.

    数据包处理过程:
    step1:LB收到数据包,如下:
            +------------------+-----------+---------------------------+
            |Src IP(源IP,即CIP)| 目标IP,VIP|           Data            |
            +------------------+-----------+---------------------------+
          此时LB采用IP tunneling封装协议对上面的IP数据包封装在另外一个IP包中.如下:
            +----------------------+------------------+-----------------------------------------------------------------------+
            |                      |                  |                             New Data                                  |
            |                      |                  |      +------------------+-----------+---------------------------+     |
            |Src IP(源IP,即LB的RIP)| 目标IP,即RS的RIP|      |Src IP(源IP,即CIP)| 目标IP,VIP|           Data            |     |
            |                      |                  |      +------------------+-----------+---------------------------+     |
            |                      |                  |                                                                       |
            +----------------------+------------------+-----------------------------------------------------------------------+
           然后LB将该数据包路由给RS.
    step2:RS收到LB发来的数据包时,根据IP tunneling封装协议对该数据包进行解包.
          将LB收到的原始数据解出来,如下:
            +------------------+-----------+---------------------------+
            |Src IP(源IP,即VIP)| 目标IP,CIP|           Data            |
            +------------------+-----------+---------------------------+
          解包后,RS发现目标地址是自己(即VIP在RS上面有配置,即Tunl接口),就会处理该数据包,并将处理结果直接返回给用户端CIP,不再经过LB.

通讯模型
+-------+
|       |CIP<---返回---------------------------------------------+
|       |                                                        |
|Client |                                                     |
|       |CIP----请求----->+                             |
|       |                 |                                      |
+-------+                 |                                   |
                          |请求包                            |返回包
                          |                                      |
                          |                                      |
                         VIP                                    VIP(Tunel设备IP)
                  +----------------+         封装包        +-------------+
                  |    Director    |DIP--------->-------RIP|  RealServer |
                  +----------------+       (不同Vlan)      +-------------+

请求包格式:
                  源IP                 目标IP
            +----------------------+------------------+---------------------------+
            |Src IP(CIP)           | LB的VIP          |           Data            |
            +----------------------+------------------+---------------------------+
封装包格式:
                  源IP                 目标IP
            +----------------------+------------------+-----------------------------------------------------------------------+
            |                      |                  |                  New Data (即完整的请求包)                            |
            |       Src IP         |                  |      +------------------+-----------+---------------------------+     |
            |LB的DIP,即VIP所在网卡 | 目标IP,即RS的RIP |      |Src IP(源IP,即CIP)| 目标IP,VIP|           Data            |     |
            |的主IP,即RIP          |                  |      +------------------+-----------+---------------------------+     |
            |                      |                  |              将请求包封装在另外一个IP报文中                           |
            +----------------------+------------------+-----------------------------------------------------------------------+
返回包格式:
                  源IP                 目标IP
            +----------------------+------------------+---------------------------+
            |Src IP(即RS的VIP)     | 目标IP,即CIP     |           Data     |
            +----------------------+------------------+---------------------------+