Linux Lvs负载均衡集群技术（二）
来源：互联网 发布：比较好的java入门书籍 编辑：程序博客网 时间：2024/05/01 21:10
转自：博客园“走自己的路”
1.6安装LVS软件
1.6.1 安装LVS的准备
1.6.1.1 需要三台服务器或VM虚拟主机
1、数据库及memcache等对内业务的负载均衡环境
管理IP地址
角色
备注
10.0.0.51
LVS（负载均衡器）
对外提供VIP 10.0.0.56
10.0.0.55
RS1（真实服务器）
10.0.0.57
RS2（真实服务器）
2、web服务或web cache等负载均衡环境
管理IP地址
内部IP地址
角色
备注
192.168.1.51
10.0.0.51
LVS（负载均衡器）
对外提供VIP 10.0.0.56
192.168.1.55
10.0.0.55
RS1（真实服务器）
192.168.1.57
10.0.0.57
RS2（真实服务器）
注意：将10网段为内网卡，192假设为外网卡。
1.6.1.2 LVS安装配置
#查看ip_vs是否在内核存在[root@tty-lvs tools]# lsmod |grep ip_vs#查看系统版本[root@tty-lvs tools]# cat /etc/redhat-release CentOS release 5.8 (Final)#查看系统内核号[root@tty-lvs tools]# uname -r2.6.18-308.el5#查看系统位[root@tty-lvs tools]# uname -mx86_64#做内核链接[root@tty-lvs tools]# ln -s /usr/src/kernels/2.6.18-308.el5-x86_64/ /usr/src/linux[root@tty-lvs tools]# ls -l /usr/src/ |grep linuxlrwxrwxrwx 1 root root 39 Aug 5 12:30 linux -> /usr/src/kernels/2.6.18-308.el5-x86_64/注意事项：1、此ln命令的链接路径要和uname -r输出结果内核版本对应，工作中可能有多个内核路径。2、如果没有/usr/src/kernels/2.6.18-308.el5-x86_64/，是因为缺少kernel-devel-2.6.18-308.el5软件包，可通过yum -y install kernel-devel 安装---------------------------------------------------------------------------------------------------------------------------#进入软件目录[root@tty-lvs ~]# cd /tools/#查看内核版本[root@tty-lvs tools]# uname -r2.6.18-308.el5#下载软件1.24[root@tty-lvs tools]# wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz--2013-08-05 12:24:03-- http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gzResolving www.linuxvirtualserver.org... 69.56.251.119, 2001:470:1f0f:297::2Connecting to www.linuxvirtualserver.org|69.56.251.119|:80... connected.HTTP request sent, awaiting response... 200 OKLength: 36598 (36K) [application/x-gzip]Saving to: `ipvsadm-1.24.tar.gz'100%[===============================================================>] 36,598 --.-K/s in 0.06s 2013-08-05 12:24:12 (578 KB/s) - `ipvsadm-1.24.tar.gz' saved [36598/36598][root@tty-lvs tools]# ls -l ipvsadm-1.24.tar.gz -rw-r--r-- 1 root root 36598 Dec 11 2005 ipvsadm-1.24.tar.gz[root@tty-lvs tools]# tar zxf ipvsadm-1.24.tar.gz [root@tty-lvs tools]# cd ipvsadm-1.24[root@tty-lvs ipvsadm-1.24]# make[root@tty-lvs ipvsadm-1.24]# make install#检测安装是否成功[root@tty-lvs ipvsadm-1.24]# echo $?0[root@tty-lvs ipvsadm-1.24]##启动ipvs，进行查看确认[root@tty-lvs ipvsadm-1.24]# ipvsadm或者 modprobe ip_vsIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn[root@tty-lvs ipvsadm-1.24]# lsmod |grep ip_vsip_vs 122113 0提示：执行ipvsadm命令就会把ip_vs加载到内核中提示：ipvsadm 1.26的版本适用于kernel 2.6.28之后的版本，若符合此环境yum install libnl* popt* -y安装依赖库。
1.7手动配置LVS负载均衡服务-DR模式
1.7.1 手动添加LVS转发
1）用户访问：www.123456.com -->vip：10.0.0.56 ==>这个步骤是在DNS里配置。2）配置LVS虚拟IP（VIP）[root@tty-lvs ipvsadm-1.24]# ifconfig eth0:0 10.0.0.56 netmask 255.255.255.0 up[root@tty-lvs ipvsadm-1.24]# ifconfig eth0:0eth0:0 Link encap:Ethernet HWaddr 00:50:56:31:04:2E inet addr:10.0.0.29 Bcast:10.0.0.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1-->非必须的（添加路由）[root@tty-lvs ipvsadm-1.24]# route add -host 10.0.0.56 dev eth0[root@tty-lvs ipvsadm-1.24]# route -nKernel IP routing tableDestination Gateway Genmask Flags Metric Ref Use Iface10.0.0.29 0.0.0.0 255.255.255.255 UH 0 0 0 eth010.0.0.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0169.254.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth00.0.0.0 10.0.0.2 0.0.0.0 UG 0 0 0 eth03）配置后的检查结果ping 10.0.0.56查看是否通4）手工执行配置添加LVS服务并增加两台RS#清空ipvs所有的表记录[root@tty-lvs ipvsadm-1.24]# ipvsadm -C#设置超时参数：tcp tcpfin udp [root@tty-lvs ipvsadm-1.24]# ipvsadm --set 30 5 60#添加虚拟服务和负载算法: wrr 权重轮询 [root@tty-lvs ipvsadm-1.24]# ipvsadm -A -t 10.0.0.56:80 -s wrr -p 20#查看添加的虚拟服务[root@tty-lvs ipvsadm-1.24]# ipvsadm -L -nIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 10.0.0.56:80 wrr persistent 20#添加RS主机[root@tty-lvs ipvsadm-1.24]# ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.55:80 -g -w 1 [root@tty-lvs ipvsadm-1.24]# ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.57:80 -g -w 1 [root@tty-lvs ipvsadm-1.24]# ipvsadm -L -nIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 10.0.0.29:80 wrr persistent 20 -> 10.0.0.57:80 Route 1 0 0 -> 10.0.0.55:80 Route 1 0 0 [删除RS方法][root@tty-lvs ipvsadm-1.24]# ipvsadm -d -t 10.0.0.56:80 -r 10.0.0.55:80LB端配置commandifconfig eth0:0 10.0.0.56 netmask 255.255.255.0 upifconfig eth0:0route add -host 10.0.0.56 dev eth0:0route -nipvsadm -Cipvsadm --set 30 5 60ipvsadm -A -t 10.0.0.56:80 -s wrr -p 20ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.55:80 -g -w 1ipvsadm -a -t 10.0.0.56:80 -r 10.0.0.57:80 -g -w 1ipvsadm -L -n
1.7.2 手工在RS端绑定VIP
1、每台RS端执行[root@tty-rs1 ~]# ifconfig lo:55 10.0.0.56 netmask 255.255.255.255 up <==子网掩码为255.255.255.255[root@tty-rs1 ~]# route add -host 10.0.0.56 dev lo[root@tty-rs2 ~]# ifconfig lo:57 10.0.0.56 netmask 255.255.255.255 up <==子网掩码为255.255.255.255[root@tty-rs2 ~]# route add -host 10.0.0.56 dev lo2、RS上执行抑制ARP响应方法如下：echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announce RS端配置commandifconfig lo:55 10.0.0.56 netmask 255.255.255.255 uproute add -host 10.0.0.56 dev loecho "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announceifconfig lo:57 10.0.0.56 netmask 255.255.255.255 uproute add -host 10.0.0.56 dev loecho "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announce
1.7.3 脚本实现自动配置
LB自动化配置脚本#!/bin/bash. /etc/init.d/functionsVIP=10.0.0.56RIP=( 10.0.0.55 10.0.0.57)NETMASK=255.255.255.0RETVAL=0IFCONFIG=/sbin/ifconfigROUTE=/sbin/routeIPVSADM=/sbin/ipvsadmSUBETH=eth0:`echo $VIP|awk -F "." '{print $4}'`PORT=80function checkCMD(){ if [ $# -ne 1 ];then echo "Usage: /bin/sh $0 {start|stop}" fi}function checkSubnet(){ $IFCONFIG |grep "$1"|wc -l}function start_lvs(){ #if [ $(checkSubnet $SUBETH) -ne 0 ];then # $IFCONFIG $SUBETH down #fi $IFCONFIG $SUBETH $VIP netmask $NETMASK up $IPVSADM -C $IPVSADM --set 30 5 60 $IPVSADM -A -t $VIP:$PORT -s wrr -p 20 for((i=0;i<`echo ${#RIP[@]}`;i++)) do $IPVSADM -a -t $VIP:$PORT -r ${RIP[$i]} -g -w 1 done RETVAL=$? [ $RETVAL -eq 0 ] && action "start lvs" /bin/true || action "start lvs" /bin/false return $RETVAL}function stop_lvs(){ $IFCONFIG $SUBETH $VIP netmask $NETMASK down $IPVSADM -C $IPVSADM -Z RETVAL=$? [ $RETVAL -eq 0 ] && action "stop lvs" /bin/true || action "stop lvs" /bin/false return $RETVAL}case "$1" instart) start_lvs ;;stop) stop_lvs ;;*) checkCMD ;;esacRS自动化配置脚本#!/bin/bash. /etc/init.d/functionsRVIP=10.0.0.56NETMASK=255.255.255.255RETVAL=0case "$1" instart) interface="lo:`echo $RVIP|awk -F . '{print $4}'`" /sbin/ifconfig $interface $RVIP netmask $NETMASK up done echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce RETVAL=$? [ $RETVAL -eq 0 ]&& action "Start LVS of RearServer" /bin/true || action "Start LVS of RearServer" /bin/false ;;stop) interface="lo:`echo $RVIP|awk -F . '{print $4}'`" /sbin/ifconfig $interface $RVIP netmask $NETMASK down done echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce RETVAL=$? [ $RETVAL -eq 0 ]&& action "Stop LVS of RearServer" /bin/true || action "Stop LVS of RearServer" /bin/false ;;*) echo "Usage: $0 {start|stop}" exit 1esacLB上对RS的健康检查脚本#!/bin/bashVIP=10.0.0.56RIP=( 10.0.0.55 10.0.0.57)PORT=80while truedo for((i=0;i<`echo ${#RIP[@]}`;i++)) do COUNT=`nmap ${RIP[$i]} -p $PORT |grep open |wc -l` if [ $COUNT -eq 1 ] then if [ `ipvsadm -L -n|grep ${RIP[$i]}|wc -l` -ne 1 ];then ipvsadm -a -t $VIP:$PORT -r ${RIP[$i]}:$PORT fi else if [ `ipvsadm -L -n|grep ${RIP[$i]}|wc -l` -eq 1 ];then ipvsadm -d -t $VIP:$PORT -r ${RIP[$i]}:$PORT fi fi done sleep 2done
1.7.4 ARP抑制技术参数说明
arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式0 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应 4-7 - 保留未使用 8 -不回应所有（本地地址）的arp查询arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口 0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.
1.8 LVS负载均衡-附
1.8.1 手工实现LVS负载均衡器的高可用
高可用脑裂问题及解决方案
(1)、导致裂脑发生的原因
1.高可用服务器之间心跳链路故障，导致无法相互检查心跳
2.高可用服务器上开启了防火墙，阻挡了心跳检测
3.高可用服务器上网卡地址等信息配置不正常，导致发送心跳失败
4.其他服务配置不当等原因，如心跳方式不同，心跳广播冲突，软件BUG等
(2)、防止裂脑一些方案
1.加冗余线路
2.检测到裂脑时，强行关闭心跳检测(远程关闭主节点，控制电源的电路fence)
3.做好脑裂的监控报警
4.报警后，备节点在接管时设置比较长的时间去接管，给运维人员足够的时间去处理(人为处理)
5.启动磁盘锁，正在服务的一方锁住磁盘，裂脑发生时，让对方完全抢不走"共享磁盘资源"
磁盘锁存在的问题：
使用锁磁盘会有死锁的问题，如果占用共享磁盘的一方不主动"解锁"另一方就永远得不到共享磁盘，假如服务器节点突然死机或崩溃，就不可能执行解锁命令，备节点也就 无法接管资源和服务了，有人在HA中设计了智能锁，正在提供服务的一方只在发现心跳全部断开时才会启用磁盘锁，平时就不上
1.8.2 常见的LVS负载均衡高可用解决方案
1.通过开发脚本解决
2.hearbeat+lvs+ldirectord脚本配置方案（复杂、不易控制）
heartbeat and ldirectord方案资料：
http://www.linuxvirtualserver.org/docs/ha/heartbeat_ldirectord.html
http://www.linuxvirtualserver.org/docs/ha/ultramonkey.html
3.通过Redhat提供的工具piranha来配置LVS
The Piranha Solution ：http://www.linuxvirtualserver.org/docs/ha/piranha.html
4.keepalived方案（推荐的当前最优方案）
http://www.keepalived.org/
The Keepalived Solution： http://www.linuxvirtualserver.org/docs/ha/keepalived.html
5.其他 ...
1.8.3 LVS分发请求RS不均衡生产环境解决
①persistent <会话保持造成的原因>
②reload重启keepalived
其他导致负载均衡不均衡的原因可能有：
1.LVS自身的会话保持参数设置（-p 300， persistent 300）。优化：大公司尽量用cookie替代session。
2.LVS调度算法设置，例如：rr,wrr,wlc,lc,dh,sh算法。
3.后端RS节点的会话保持设置参数，例如：apache的keepalive参数。
4.访问量较少的情况，不均衡的现象更加明显。
5.用户请求时间长短，请求资源多少。
1.8.4 LVS故障排查理论
1.调度器上LVS调度规则及IP的正确性。
2.RS节点上VIP绑定和抑制的检查。
处理思路:1、对绑定的VIP进行实时监控，出问题报警或者自动处理后报警。 2、把绑定的VIP做成配置文件，例如：vim /etc/sysconfig/network-scripts/lo:0
ARP抑制的配置思路：
1.如果是单个VIP，那么可以用通过脚本传参arp_ignore/arp_announce设置为0；
2.如果RS端有多个VIP绑定，此时一定不要置0，即使是停止VIP绑定，也一定不要置0.
3.RS节点上自身提供服务的检查。
4.辅助工具有tcpdump,ping等。
分类: 负载均衡高可用
0 0
- Linux Lvs负载均衡集群技术（二）
- Linux Lvs负载均衡集群技术（二）
- Linux Lvs负载均衡集群技术（一）
- LINUX集群--均衡负载 LVS（一） LVS认知
- LINUX集群--均衡负载 LVS（四） LVS持久连接
- LVS集群中的IP负载均衡技术
- LVS集群中的IP负载均衡技术
- LVS集群中的IP负载均衡技术
- LVS集群中的IP负载均衡技术
- LVS集群中的IP负载均衡技术
- LVS集群中的IP负载均衡技术
- LVS集群中的IP负载均衡技术
- LVS集群中的IP负载均衡技术
- LVS集群中的IP负载均衡技术
- LVS集群中的IP负载均衡技术
- LVS集群中的IP负载均衡技术
- ipvs负载均衡（二）lvs集群介绍
- LVS负载均衡集群服务搭建详解（二）
- leetcode Count and Say
- Day10_c语言_高级指针练习
- 数组的内存管理
- 判断一个图片是不是伪造的方法
- [linux,c++] 使用指针函数实现多个函数调用
- Linux Lvs负载均衡集群技术（二）
- Android漏洞——将Android恶意代码隐藏在图片中
- 2015考研之十八届四中全会专项考点分析
- web项目开发处理乱码问题
- 到底什么是产品经理
- seo优化的一些简单的技巧
- Java HashMap实现机制
- block放入哪个hash bucket算法
- Linphone-Android源码学习(二、LinphoneLauncherActivity)
