集群

来源:互联网 发布:ios10软件不受信任 编辑:程序博客网 时间:2024/06/15 06:58

集群总结

这里写图片描述

其中性能比较好的是keepalived+lvs

lvs

lvs:linux virtual server意即Linux虚拟服务器,是一个虚拟的服务器集群系统

lvs ->四层
ngingx ->七层

ipvs ->内核
ipvsadm ->用户管理层面

netfilter(iptables)

lvs的三种策略:
{ NAT TUN DR } –> fullNAT 隧道

DR > 隧道 > NAT > FNAT(最慢,功能强)
lvs-NAT(原理) :
client -> vs -> rs -> vs -> client
缺点:vs负载高
这里写图片描述
lvs-DR(性能最优):
缺点:只能工作在同一个vlan中
工作原理
vs virtual server 数据包包含cip和vip ,MC地址转换
rs real server
这里写图片描述

lvs-fullnat
原理与NAT相同,但与nat和dr相比较,fullnat可以支持多vlan,功能也比较强

环境

系统:redhat6.5
火墙:保持关闭
selinux:保持disabled

real server:server2 & 3

vs配置

server1:
/etc/init.d/heartbeat stop ##停止heartbeat
yum install ipvsadm -y
ipvsadm -L ##-L表示列出ipvs策略
ipvsadm -C ##-C表示清空策略
ip addr add 172.25.32.100/24 dev eth0 ##添加虚拟ip
ip addr

#**-A添加策略 -t TCP协议 -s 算法 rr round roubin 轮询**
ipvsadm -A -t 172.25.32.100:80 -s rr

#**-r real server 真实的服务器 -g**
ipvsadm -a -t 172.25.32.100:80 -r 172.25.32.2:80 -g
ipvsadm -a -t 172.25.32.100:80 -r 172.25.32.3:80 -g

/etc/init.d/ipvsadm save ##保存策略到文件中
ipvsadm -L ##列出策略

server4:
/etc/init.d/heartbeat stop

rs配置

server2 & 3:
#打开httpd前,确认httpd的端口是80端口
/etc/init.d/httpd start ##开启httpd
ip addr add 172.25.32.100/32 dev eth0 ##添加虚拟ip
ip addr
yum install -y arptables_jf

#**-A 添加策略 IN表 -d -j 动作 **
arptables -A IN -d 172.25.32.100 -j DROP ##禁止访问本机的100
arptables -A OUT -s 172.25.32.100 -j mangle –mangle-ip-s 172.25.32.2 | 3 ##将100转换真实ip
/etc/init.d/arptables_jf save ##保存策略

keepalived热备

  • keepalived是一个类似于layer3, 4 & 7交换机制的软件,也就是我们平时说的第3层、第4层和第7层交换。Keepalived是自动完成,不需人工干涉。

  • 一个服务器主用,一个服务器备用,备用的服务器在主用不出错误时是等待状态,发热中,所以称为热备

  • keepalived可以同时实现高可用集群和调度

  • Keepalived 定义
    Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案,可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived,一台为主服务器(MASTER),一台为备份服务器(BACKUP),但是对外表现为一个虚拟IP,主服务器会发送特定的消息给备份服务器,当备份服务器收不到这个消息的时候,即主服务器宕机的时候, 备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性。

  • VRRP 工作机制
    在一个VRRP虚拟路由器中,有多台物理的VRRP路由器,但是这多台的物理的机器并不能同时工作,而是由一台称为MASTER的负责路由工作,其它的都是BACKUP,MASTER并非一成不变,VRRP让每个VRRP路由器参与竞选,最终获胜的就是MASTER。MASTER拥有一些特权,比如,拥有虚拟路由器的IP地址,我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。
    VRRP通过竞选协议来实现虚拟路由器的功能,所有的协议报文都是通过IP多播(multicast)包(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成,对外表现为一个周知的MAC地址。所以,在一个虚拟路由 器中,不管谁是MASTER,对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置,对客户端来说,这种主从的切换是透明的。
    在一个虚拟路由器中,只有作为MASTER的VRRP路由器会一直发送VRRP通告信息(VRRPAdvertisement message),BACKUP不会抢占MASTER,除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息), 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s),以保证服务的连续性。由于安全性考虑,VRRP包使用了加密协议进行加密。
    这里写图片描述

环境

系统:redhat6.5
火墙:保持关闭
selinux:disabled

集群节点:server1 & 4
调度器:server2 & 3

keepalived源码包:keepalived-1.3.5.tar.gz

防火墙优先集高于lvs
测试前:清除火墙策略

keepalive(http)

#配置前

/etc/init.d/heartbeat stop
chkconfig heartbeat off
rs的虚拟ip要存在

(1)安装
tar zxf keepalived-1.3.5.tar.gz
yum install openssl-devel -y
yum install gcc -y
cd keepalived-1.3.5
./configure –prefix=/usr/local/keepalived –with-init=SYSV
make && make install

(2)配置master
server1:
scp -r /usr/local/keepalived/ server4:/usr/local

#创建软链接(配置环境变量)
ln -s /usr/local/keepalived/sbin/keepalived /sbin
ln -s /usr/local/keepalived/etc/keepalived/ /etc/
ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
ll /usr/local/keepalived/etc/rc.d/init.d/keepalived
chmod +x /usr/local/keepalived/etc/rc.d/init.d/keepalived

#编辑配置文件
vim /usr/local/keepalived/etc/keepalived/keepalived.conf

  3 global_defs {  4    notification_email {  5      root@localhost  6    }  7    notification_email_from keepalived@server1   ##mail  8    smtp_server 127.0.0.1        ##邮箱服务器 17 vrrp_instance VI_1 { 18     state MASTER        ##MASTER主用 19     interface eth0 20     virtual_router_id 83   ##虚拟端口,必须与备用一致 21     priority 100         32 virtual_server 172.25.32.100 80 { 33     delay_loop 6 34     lb_algo rr 35     lb_kind DR      ##采用lvs-DR 36     #persistence_timeout 50 37     protocol TCP 38  39     real_server 172.25.32.2 80 { 40         weight 1 41         TCP_CHECK { 42             connect_timeout 3 43             nb_get_retry 3 44             delay_before_retry 3 45         } 46     } 47     real_server 172.25.32.3 80 { 48         weight 1 49         TCP_CHECK { 50             connect_timeout 3 51             nb_get_retry 3 52             delay_before_retry 3 53         } 54     } 55 }

/etc/init.d/keepalived start
ip addr
scp keepalived.conf server4:/etc/keepalived/
iptables -F
iptables -L
ipvsadm -l

(2)配置backup(备用)
ln -s /usr/local/keepalived/sbin/keepalived /sbin/
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
chmod +x /usr/local/keepalived/etc/rc.d/init.d/keepalived
ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

mkdir /etc/keepalived
vim /etc/keepalived/keepalived.conf

  7    notification_email_from keepalived@server4 17 vrrp_instance VI_1 { 18     state BACKUP 19     interface eth0 20     virtual_router_id 83 21     priority 50

/etc/init.d/keepalived start

(3)测试
curl vip
保证 server1 & 4的iptables是没有策略

[root@foundation32 ~]# curl 172.25.32.100<h1>server3-www.westos.com</h1>[root@foundation32 ~]# curl 172.25.32.100<h1>server2</h1>[root@foundation32 ~]# curl 172.25.32.100<h1>server3-www.westos.com</h1>[root@foundation32 ~]# curl 172.25.32.100<h1>server2</h1>

keepalived(ftp)

##配置前确认ldirectord是关闭的
/etc/init.d/ldirectord stop
chkconfig ldirectord off

(1)配置vs
server1 & 4:
/etc/init.d/keepalived start
vim /etc/keepalived/keepalived.conf

 58 virtual_server 172.25.32.100 21 {   ##21端口(ftp) 59     delay_loop 6 60     lb_algo rr 61     lb_kind DR 62     persistence_timeout 50      ## 63     protocol TCP 64  65     real_server 172.25.32.2 21 { 66         weight 1 67         TCP_CHECK { 68             connect_timeout 3 69             nb_get_retry 3 70             delay_before_retry 3 71         } 72     } 73     real_server 172.25.32.3 21 { 74         weight 1 75         TCP_CHECK { 76             connect_timeout 3 77             nb_get_retry 3 78             delay_before_retry 3 79         } 80     } 81 }##注意最后不能有空行和空格

/etc/init.d/keepalived reload
iptables -L
iptables -F
ipvsadm -l

(2)配置rs
server2 & 3:
ip addr add 172.25.32.100/32 dev eth0
/etc/init.d/arptables_jf start
/etc/init.d/httpd start
yum install vsftpd -y
/etc/init.d/vsftpd start

(3)测试
ipvsadm -l

[root@server1 ~]# ipvsadm -lIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags  -> RemoteAddress:Port           Forward Weight ActiveConn InActConnTCP  172.25.32.100:ftp rr persistent 50  -> server2:ftp                  Route   1      0          0           -> server3:ftp                  Route   1      0          0         TCP  172.25.32.100:http rr  -> server2:http                 Route   1      0          0           -> server3:http                 Route   1      0          0  

lftp 172.25.32.100

[root@foundation32 ~]# lftp 172.25.32.100lftp 172.25.32.100:~> lsdrwxr-xr-x    2 0        0            4096 Feb 12  2013 pub-rw-r--r--    1 0        0               0 Jul 26 17:58 server2lftp 172.25.32.100:/> exit##server2的vsftpd服务停止[root@foundation32 ~]# lftp 172.25.32.100lftp 172.25.32.100:~> lsdrwxr-xr-x    2 0        0            4096 Feb 12  2013 pub-rw-r--r--    1 0        0               0 Jul 26 17:56 server3lftp 172.25.32.100:/> exit