IPVS 学习笔记 二

3.6、ipvs数据包发送

IPVS连接中的数据包的发送方法是由ip_vs_bind_xmit()(net\netfilter\ipvs\ip_vs_conn.c中)函数定义的,具体的发送数据包处理函数定义在net\netfilter\ipvs\Ip_vs_xmit.c文件中

int

ip_vs_nat_xmit(struct sk_buff *skb, struct ip_vs_conn *cp,

       struct ip_vs_protocol *pp)

NAT发送只发送请求方向的数据,因此是进行目的NAT

int

ip_vs_tunnel_xmit(struct sk_buff *skb, struct ip_vs_conn *cp,

  struct ip_vs_protocol *pp)

TUNNEL发送是把原来的IP部分再加在一个IPIP协议(4)头后发出去,新头的目的IP是真实目的服务器,源IP是真实客户端IP,该包是可以路由的,服务器的回应包将直接路由回去而不经过IPVS.

int

ip_vs_dr_xmit(struct sk_buff *skb, struct ip_vs_conn *cp,

      struct ip_vs_protocol *pp)

DR发送是将原来的skb包中的目的MAC地址修改为目的服务器的MAC地址后直接发出,因此是不能路由的,IPVS均衡设备和目的服务器物理上必须在同一个二层子网。在DR模式下，IPVS和服务器都配置了相同的对外服务的VIP，服务器也配了自己的真实IP，不过服务器上配VIP的网卡属性中的NOARP信息是打开的，就是在该网卡上不响应ARP信息，但可以接收到达该VIP的数据包，这样外面请求包先是到IPVS均衡器，因为IPVS的VIP是响应ARP的，然后根据调度找一台服务器，用服务器的真实IP来确定路由，然后直接把包发出来，这时包中所有数据都没修改，因为目的服务器上VIP地址符合包中的目的地址，因此是可以接收该包的。

int

ip_vs_bypass_xmit(struct sk_buff *skb, struct ip_vs_conn *cp,

  struct ip_vs_protocol *pp)

旁路模式,实际数据包不是给IPVS均衡器自己的,由IPVS进行转发

int

ip_vs_icmp_xmit(struct sk_buff *skb, struct ip_vs_conn *cp,

struct ip_vs_protocol *pp, int offset, unsigned int hooknum)

发送各种ICMP错误信息包

 

3.7、ipvs的应用管理

IPVS的应用是针对象FTP等的多连接协议处理的，由于多连接协议的特殊性，任何以连接为基础进行处理的模块如IPVS，netfilter等都必须对这些协议特别处理，不过IPVS相对没有netfilter那么完善，目前也仅仅支持FTP协议，而netfilter已经可以支持FTP、TFTP、IRC、AMANDA、MMS、SIP、H.323等多种多连接协议。

 

IPVS应用也是模块化的，不过其实现有点特别，对于每一个应用协议，会定义一个静态的struct ip_vs_app结构作为模板，以后登记该协议时，对应的应用指针并不是直接指向这个静态结构，而是新分配一个struct ip_vs_app结构，结构中的struct ip_vs_app指针指向这个静态结构，然后把新分配的这个结构分别挂接到静态struct ip_vs_app结构的具体实现链表和IP协议的应用HASH链表中进行使用，这种实现方法和netfilter完全不同。

 

IPVS应用一些共享的处理函数在net\netfilter\ipvs\ip_vs_app.c中定义,其他各协议相关处理分别由各自文件处理,如net\netfilter\ipvs\ip_vs_ftp.c.

 

3.8、ipvs的主备同步

IPVS支持对连接的同步，两台IPVS设备可分别以MASTER或BACKUP运行，MASTER进程可将连接信息备份到BACKUP设备上,这样主设备死机时从设备可以无缝切换。

可以在IPVS设备上同时启动MASTER和BACKUP进程，使设备之间互为备份，实现IPVS设备的均衡。

 

IPVS同步实现在net\netfilter\ipvs\ip_vs_sync.c中

 

3.9、ipvs预估器

IPVS预估器用的估算在一个短暂时间间隔内的连接率,可在用户空间开一个daemon定时读取预估器的值以实现较长时间的预估。

预估算法为：

取最后8秒钟内，每两秒取一个采样点进行平滑处理：

    avgrate = avgrate*(1-W) + rate*W

    其中 W = 2^(-2) = 0.25，速率单位是KBytes/s

 

预估代码在net\netfilter\ipvs\ip_vs_est.c中实现。

 

3.10、ipvs的/proc参数

ipvs在/proc目录下建立了以下文件：

/proc/net:

 /proc/net/ip_vs：IPVS的规则表

 /proc/net/ip_vs_app：IPVS应用协议

 /proc/net/ip_vs_conn：IPVS当前连接

 /proc/net/ip_vs_stats：IPVS状态统计信息

/proc/sys/net/ipv4/vs:

 /proc/sys/net/ipv4/vs/am_droprate：丢包率(缺省10)

 /proc/sys/net/ipv4/vs/amemthresh：可用内存阈值(缺省1024)

 /proc/sys/net/ipv4/vs/cache_bypass：是否建立旁路cache项

 /proc/sys/net/ipv4/vs/debug_level：调试级别

 /proc/sys/net/ipv4/vs/drop_entry：确定删除连接处理级别

 /proc/sys/net/ipv4/vs/drop_packet：丢包级别

 /proc/sys/net/ipv4/vs/expire_nodest_conn：是否删除没有目的服务器的连接

 /proc/sys/net/ipv4/vs/lblc_expiration：lblc算法的到期时间(缺省1天)

 /proc/sys/net/ipv4/vs/lblcr_expiration：lblcr算法的到期时间(缺省1天)

 /proc/sys/net/ipv4/vs/nat_icmp_send：NAT模式下连接异常时发送ICMP包

 /proc/sys/net/ipv4/vs/secure_tcp：更安全的TCP状态转换

 /proc/sys/net/ipv4/vs/sync_threshold：连接同步时的包数阈值数值

 /proc/sys/net/ipv4/vs/timeout_close：TCP sCL状态超时

 /proc/sys/net/ipv4/vs/timeout_closewait：TCP sCW状态超时

 /proc/sys/net/ipv4/vs/timeout_established：TCP sES状态超时

 /proc/sys/net/ipv4/vs/timeout_finwait：TCP sFW状态超时

 /proc/sys/net/ipv4/vs/timeout_icmp：ICMP超时

 /proc/sys/net/ipv4/vs/timeout_lastack：TCP sLA状态超时

 /proc/sys/net/ipv4/vs/timeout_listen：TCP sLI状态超时

 /proc/sys/net/ipv4/vs/timeout_synack：TCP sSA状态超时

 /proc/sys/net/ipv4/vs/timeout_synrecv：TCP sSR状态超时

 /proc/sys/net/ipv4/vs/timeout_synsent：TCP sSS状态超时

 /proc/sys/net/ipv4/vs/timeout_timewait：TCP sTW状态超时

 /proc/sys/net/ipv4/vs/timeout_udp：UDP超时

 

3.11、ipvs控制

ipvs控制包括定义IPVS提供的虚拟服务参数和实际的目的服务器等各种参数。

ipvs的控制信息是通过setsockopt系统调用传递到内核的，ipvs在用户层的管理工具是ipvsadm。

关于ipvs控制代码在net\netfilter\ipvs\ip_vs_ctl.c中。

 

3.11.1、注册sockopt

static struct nf_sockopt_ops ip_vs_sockopts = {

.pf                = PF_INET,

.set_optmin        = IP_VS_BASE_CTL,

.set_optmax        = IP_VS_SO_SET_MAX+1,

.set                = do_ip_vs_set_ctl,

.get_optmin        = IP_VS_BASE_CTL,

.get_optmax        = IP_VS_SO_GET_MAX+1,

.get                = do_ip_vs_get_ctl,

.owner                = THIS_MODULE,

};

借用netfilter的struct nf_sockopt_ops结构来添加

在int __init ip_vs_control_init(void)函数中调用

ret = nf_register_sockopt(&ip_vs_sockopts);来注册sockopt

static int

do_ip_vs_set_ctl(struct sock *sk, int cmd, void __user *user, unsigned int len)

写控制

static int

do_ip_vs_get_ctl(struct sock *sk, int cmd, void __user *user, int *len)

读控制

 

3.11.2、服务控制

static int

ip_vs_add_service(struct net *net, struct ip_vs_service_user_kern *u,

  struct ip_vs_service **svc_p)

添加服务

static int

ip_vs_edit_service(struct ip_vs_service *svc, struct ip_vs_service_user_kern *u)

修改服务和绑定一个新的调度器

static int ip_vs_del_service(struct ip_vs_service *svc)

删除服务

static int ip_vs_flush(struct net *net)

删除所有服务

static int ip_vs_zero_service(struct ip_vs_service *svc)

清除服务计数器

 

3.11.3、真实服务器管理

static int

ip_vs_add_dest(struct ip_vs_service *svc, struct ip_vs_dest_user_kern *udest)

添加一个真实服务器到一个已存在的虚拟服务

static int

ip_vs_new_dest(struct ip_vs_service *svc, struct ip_vs_dest_user_kern *udest,

       struct ip_vs_dest **dest_p)

在一个虚拟服务中创建一个真实服务器结构

static int

ip_vs_edit_dest(struct ip_vs_service *svc, struct ip_vs_dest_user_kern *udest)

修改真实服务器

static int

ip_vs_del_dest(struct ip_vs_service *svc, struct ip_vs_dest_user_kern *udest)

在一个虚拟服务中删除真实服务器

static void __ip_vs_del_dest(struct net *net, struct ip_vs_dest *dest)

删除一个真实服务器（必须已与虚拟服务解绑）

static void __ip_vs_unlink_dest(struct ip_vs_service *svc,

struct ip_vs_dest *dest,

int svcupd)

在一个虚拟服务中解绑真实服务器

 

3.11.4、防御级别调整

static void defense_work_handler(struct work_struct *work)

定时处理函数

static void update_defense_level(struct netns_ipvs *ipvs)

更新IPVS的防御级别,需要用到/proc下定义的一些控制参数

 

4、学习总结

对于对linux内核不了解的人来说，最开始看ipvs和ipvsadm代码时会一头雾水，但对内核编程初步了解与看yfydz老大的实现分析系列文章后使我茅塞顿开。ipvs的结构体定义与功能函数实现一目了然，某些关键细节还没有看的很透彻，不过已可以定位关键点了。ipvsadm与ipvs之间的控制通信通过setsockopt实现，对照看一些结构体的填充与用户层和内核之间的数据传递，可对控制工作流程有直观的了解。最后挖掘的地方就是数据包修改功能与调度策略的算法实现，这样使我对ipvs的代码实现熟悉起来。希望我整理的函数列表会对大家有帮助，一直看yfydz的大篇注释有点晕，需要了解的地方再跟进查看吧，感谢ipvs作者与yfydz的技术分享。