负载均衡LVS NAT，LVS DR, keepalived+lvs

18.6-18.12 LVS NAT， LVS DR

常用的负载均衡软件有lvs，nginx，haproxy，keepalived。

• lvs是中国人章文嵩博士发明的。他工作在四层，所以工作非常稳定。但是提供的服务比较单一，不能进行个性化的定制。
• nginx除了可以用做http server之外也可以用做负载均衡，其工作在七层，可以提供多样化的服务。例如根据url进行指定的转发。
• keepalived实际是用lvs进行负载均衡。
• haproxy可以认为即工作在四层，也可以工作在七层。

工作原理

lvs服务器作为整个集群的唯一入口，single entry point。lvs服务器称为调度器，director，他把请求转发给真实服务器处理，real server。

lvs的工作模式

lvs的工作模式有nat，ip tunnel，dr.

lvs: linux virtual server
nat: network address translation
dr: direct routing

nat的优点是可以节省公网的ip，但是因为进出的数据都通过lvs服务器处理，当访问量变大后lvs节点将成为系统的瓶颈，所以这种方式只适合10台以内的服务器集群。调度器有公网ip和局域网ip，rs只有局域网ip。客户访问的是调度器的公网ip。

ip tunnel则是把进入的数据包重新更改目标ip后封装，rs处理之后直接返回给用户，不需要经过调度器。所以可以支持更大的集群。

dr把进入的数据帧修改目标mac地址然后转发给rs，并没有修改目标ip。所以和ip tunnel一样高效，也可以支持更大的集群。这里需要用vip工作，用户访问的是vip。

调度算法

调度算法总共有8种，但是常用的有4种：
- 轮询round robin，rr。
- 加权轮询weighted round robin，wrr。例如把性能更好的服务器设为更高的权重，让他处理更高的访问量。
- 最小连接 least connection，ls。把数据转发到当前连接数最少的rs上。
- 加权最小连接weighted least connection，wlc。把数据转发到加权后当前连接数最少的rs上。

nat模式

准备三台主机：

分发器，也叫调度器（简写为dir）
内网：27.128，外网：133.147（vmware仅主机模式）
rs1
内网：27.129，设置网关为27.128
rs2
内网：27.130，设置网关为27.128

三台机器上都执行执行
systemctl stop firewalld; systemc disable firewalld
systemctl start iptables-services; iptables -F; service iptables save

 在dir上安装ipvsadm yum install -y ipvsdam 在dir上编写脚本，vim /usr/local/sbin/lvs_nat.sh//内容如下#! /bin/bash# director 服务器上开启路由转发功能echo 1 > /proc/sys/net/ipv4/ip_forward# 关闭icmp的重定向echo 0 > /proc/sys/net/ipv4/conf/all/send_redirectsecho 0 > /proc/sys/net/ipv4/conf/default/send_redirects# 注意区分网卡名字，两个网卡分别为ens33和ens37echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirectsecho 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects# director 设置nat防火墙iptables -t nat -Fiptables -t nat -Xiptables -t nat -A POSTROUTING -s 192.168.27.0/24  -j MASQUERADE# director设置ipvsadmIPVSADM='/usr/sbin/ipvsadm'$IPVSADM -C$IPVSADM -A -t 192.168.133.147:80 -s rr$IPVSADM -a -t 192.168.133.147:80 -r 192.168.27.129:80 -m -w 1$IPVSADM -a -t 192.168.133.147:80 -r 192.168.27.130:80 -m -w 1两台rs上都安装nginx[root@cent01 ~]# curl 192.168.27.129  //连接两台主机ip返回的结果rs 02[root@cent01 ~]# curl 192.168.27.130rs 03[root@centos11 ~]# curl 192.168.133.147  //连接vip每次显示的主机不同，说明rr成功实现rs 03[root@centos11 ~]# curl 192.168.133.147rs 02[root@centos11 ~]# curl 192.168.133.147rs 03[root@centos11 ~]# curl 192.168.133.147rs 02

lvs dr

准备三台机器：
dir:192.168.27.128
rs1:192.168.27.129
rs2:192.168.27.130
vip: 192.168.27.200

三台主机的网关都设置为路由器网关。

dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下#! /bin/bashecho 1 > /proc/sys/net/ipv4/ip_forwardipv=/usr/sbin/ipvsadmvip=192.168.27.200rs1=192.168.27.129rs2=192.168.27.130#注意这里的网卡名字ifdown ens33  //重启网卡ifup ens33ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up  //：2是绑定一块新虚拟网卡route add -host $vip dev ens33:2$ipv -C$ipv -A -t $vip:80 -s rr$ipv -a -t $vip:80 -r $rs1:80 -g -w 1$ipv -a -t $vip:80 -r $rs2:80 -g -w 1两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下#/bin/bashvip=192.168.27.200#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端ifdown loifup loifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up  //:0也是绑定新虚拟网卡route add -host $vip lo:0#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.htmlecho "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announce分别在dir上和两个rs上执行这些脚本//测试[root@centos62 ~]# curl 192.168.27.200rs 02[root@centos62 ~]# curl 192.168.27.200rs 01[root@centos62 ~]# curl 192.168.27.200rs 02[root@centos62 ~]# curl 192.168.27.200rs 01[root@centos62 ~]# curl 192.168.27.200rs 02[root@centos62 ~]# curl 192.168.27.200rs 01以上结果说明配置成功。

keepalived+lvs

如果单纯只用lvs做负载均衡，那么如果rs里有一台机器宕机后，用户的请求依然被转发给宕机的rs，这不是我们想要的结果。

//例如当rs3宕机后，用户的请求就变成了无响应。[root@centos62 ~]# curl 192.168.27.200rs 03[root@centos62 ~]# curl 192.168.27.200rs 02[root@centos62 ~]# curl 192.168.27.200^[[A^[[A^[[Acurl: (7) couldn't connect to host[root@centos62 ~]# curl 192.168.27.200rs 02[root@centos62 ~]# curl 192.168.27.200rs 02

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，本次实验可以只安装一台keepalived功能

keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本
三台机器分别为：
dir（安装keepalived）192.168.27.128
rs1 192.168.27.129
rs2 192.168.27.130
vip 192.168.27.200

vim /etc/keepalived/keepalived.conf //更改为如下内容vrrp_instance VI_1 {    #备用服务器上为 BACKUP    state MASTER    #绑定vip的网卡为ens33，你的网卡和阿铭的可能不一样，这里需要你改一下    interface ens33    virtual_router_id 51    #备用服务器上为90    priority 100    advert_int 1    authentication {        auth_type PASS        auth_pass aminglinux    }    virtual_ipaddress {        192.168.27.200    }}virtual_server 192.168.27.200 80 {  //写vip    #(每隔10秒查询realserver状态)    delay_loop 10    #(lvs 算法)    lb_algo rr    #(DR模式)    lb_kind DR    #(同一IP的连接60秒内被分配到同一台realserver)    persistence_timeout 60    #(用TCP协议检查realserver状态)    protocol TCP    real_server 192.168.27.129 80 {        #(权重)        weight 100        TCP_CHECK {        #(10秒无响应超时)        connect_timeout 10        nb_get_retry 3        delay_before_retry 3        connect_port 80        }    }    real_server 192.168.27.130 80 {        weight 100        TCP_CHECK {        connect_timeout 10        nb_get_retry 3        delay_before_retry 3        connect_port 80        }     }} 执行ipvsadm -C  把之前的ipvsadm规则清空掉 systemctl restart network 可以把之前的vip清空掉 两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本systemctl start keepalived[root@cent01 ~]# ps aux|grep keeparoot       3373  0.0  0.0 120740  1404 ?        Ss   14:46   0:00 /usr/sbin/keepalived -Droot       3374  0.0  0.1 122936  3136 ?        S    14:46   0:00 /usr/sbin/keepalived -Droot       3375  0.1  0.0 127244  2756 ?        S    14:46   0:00 /usr/sbin/keepalived -D[root@cent01 ~]# ipvsadm -ln   //转发正常IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags  -> RemoteAddress:Port           Forward Weight ActiveConn InActConnTCP  192.168.27.200:80 rr  -> 192.168.27.129:80            Route   1      0          0           -> 192.168.27.130:80            Route   1      0          0       service nginx stop  //关闭其中一台rs[root@cent01 ~]# ipvsadm -ln   //规则已经关闭IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags  -> RemoteAddress:Port           Forward Weight ActiveConn InActConnTCP  192.168.27.200:80 rr  -> 192.168.27.129:80            Route   1      0          25        service nginx start//打开关闭的rs[root@cent01 ~]# ipvsadm -ln  //规则检测到了刚打卡的主机IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags  -> RemoteAddress:Port           Forward Weight ActiveConn InActConnTCP  192.168.27.200:80 rr  -> 192.168.27.129:80            Route   1      0          0           -> 192.168.27.130:80            Route   100    0          0