I/O多路复用技术详解之epoll模型

/**
 * @AticalName: I/O多路复用技术详解之epoll模型
 * @author DK.BurNIng
 * @date 2012-8-9 下午1:46:54
 * @version V1.2
 * @comefrom http://blog.csdn.net/bengda
 */

 

epoll的优点：
1.支持一个进程打开大数目的socket描述符(FD)
    select 最不能忍受的是一个进程所打开的FD是有一定限制的，由FD_SETSIZE设置，默认值是2048。对于那些需要支持的上万连接数目的IM服务器来说显然太少了。这时候你一是可以选择修改这个宏然后重新编译内核，不过资料也同时指出这样会带来网络效率的下降，二是可以选择多进程的解决方案(传统的 Apache方案)，不过虽然linux上面创建进程的代价比较小，但仍旧是不可忽视的，加上进程间数据同步远比不上线程间同步的高效，所以也不是一种完美的方案。不过 epoll则没有这个限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右，具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。

2.IO效率不随FD数目增加而线性下降
    传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是"活跃"的，但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。但是epoll不存在这个问题，它只会对"活跃"的socket进行操作---这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么，只有"活跃"的socket才会主动的去调用 callback函数，其他idle状态socket则不会，在这点上，epoll实现了一个"伪"AIO，因为这时候推动力在os内核。在一些 benchmark中，如果所有的socket基本上都是活跃的---比如一个高速LAN环境，epoll并不比select/poll有什么效率，相反，如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。

3.使用mmap加速内核与用户空间的消息传递。
    这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间，如何避免不必要的内存拷贝就很重要，在这点上，epoll是通过内核于用户空间mmap同一块内存实现的。而如果你想我一样从2.5内核就关注epoll的话，一定不会忘记手工 mmap这一步的。

4.内核微调
    这一点其实不算epoll的优点了，而是整个linux平台的优点。也许你可以怀疑linux平台，但是你无法回避linux平台赋予你微调内核的能力。比如，内核TCP/IP协议栈使用内存池管理sk_buff结构，那么可以在运行时期动态调整这个内存pool(skb_head_pool)的大小--- 通过echo XXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函数的第2个参数(TCP完成3次握手的数据包队列长度)，也可以根据你平台内存大小动态调整。更甚至在一个数据包面数目巨大但同时每个数据包本身大小却很小的特殊系统上尝试最新的NAPI网卡驱动架构。

 

Epoll 的高效和其数据结构的设计是密不可分的，这个下面就会提到。

首先回忆一下 select 模型，当有 I/O 事件到来时， select 通知应用程序有事件到了快去处理，而应用程序必须轮询所有的 FD 集合，测试每个 FD 是否有事件发生，并处理事件；代码像下面这样：

 

int res = select(maxfd+1, &readfds, NULL, NULL, 120); if (res > 0) {     for (int i = 0; i < MAX_CONNECTION; i++)     {         if (FD_ISSET(allConnection[i], &readfds))         {            handleEvent(allConnection[i]);         }     } } // if(res == 0) handle timeout, res < 0 handle error 

Epoll 不仅会告诉应用程序有I/0 事件到来，还会告诉应用程序相关的信息，这些信息是应用程序填充的，因此根据这些信息应用程序就能直接定位到事件，而不必遍历整个FD 集合。

 

int res = epoll_wait(epfd, events, 20, 120); for (int i = 0; i < res;i++) {    handleEvent(events[n]); } 

Epoll 关键数据结构

前面提到 Epoll 速度快和其数据结构密不可分，其关键数据结构就是：

struct epoll_event {     __uint32_t events;      // Epoll events     epoll_data_t data;      // User data variable }; typedef union epoll_data {     void *ptr;     int fd;     __uint32_t u32;     __uint64_t u64; } epoll_data_t; 

可见 epoll_data 是一个 union 结构体,借助于它应用程序可以保存很多类型的信息:fd、指针等等。有了它，应用程序就可以直接定位目标了。

使用 epoll

既然 Epoll 相比 select 这么好，那么用起来如何呢？会不会很繁琐啊 … 先看看下面的三个函数吧，就知道 Epoll 的易用了。

 

int epoll_create(int size);

生成一个 Epoll 专用的文件描述符，其实是申请一个内核空间，用来存放你想关注的 socket fd 上是否发生以及发生了什么事件。 size 就是你在这个 Epoll fd 上能关注的最大 socket fd 数，大小自定，只要内存足够。

int epoll_ctl(int epfd, int op,int fd,struct epoll_event *event );

控制某个 Epoll 文件描述符上的事件：注册、修改、删除。其中参数 epfd 是 epoll_create() 创建 Epoll 专用的文件描述符。相对于 select 模型中的 FD_SET 和 FD_CLR 宏。

int epoll_wait(int epfd,struct epoll_event * events,int maxevents,int timeout);

等待 I/O 事件的发生；参数说明：

epfd: 由 epoll_create() 生成的 Epoll 专用的文件描述符；

epoll_event: 用于回传代处理事件的数组；

maxevents: 每次能处理的事件数；

timeout: 等待 I/O 事件发生的超时值；

返回发生事件数。

相对于 select 模型中的 select 函数。

 

 

一个简单的epoll程序

#include <stdio.h>#include <stdlib.h>#include <errno.h>#include <string.h>#include <unistd.h>#include <fcntl.h>#include <sys/types.h>#include <arpa/inet.h>#include <netinet/in.h>#include <sys/socket.h>#include <sys/epoll.h>#include <sys/wait.h>#define SERVPORT 9527 /*服务器监听端口号 */#define BACKLOG 10 /* 最大同时连接请求数 */void setnonblocking(int sock){    int opts;    opts = fcntl(sock,F_GETFL);    if(opts<0)    {        perror("fcntl(sock,GETFL)");        exit(1);    }    opts = opts|O_NONBLOCK;    if(fcntl(sock,F_SETFL,opts)<0)    {        perror("fcntl(sock,SETFL,opts)");        exit(1);    }   }void do_use_fd(int client_fd){    const char str[] = "God bless you!\n";    if (send(client_fd,  str,  sizeof(str),  0) == -1)        perror("send");    close(client_fd);}int main(){    int sockfd;    struct sockaddr_in my_addr;     struct sockaddr_in remote_addr;    if ((sockfd = socket(AF_INET,  SOCK_STREAM,  0)) == -1) {        perror("socket");        exit(1);    }    my_addr.sin_family = AF_INET;    my_addr.sin_port = htons(SERVPORT);    my_addr.sin_addr.s_addr = INADDR_ANY;    bzero(&(my_addr.sin_zero), 8);    if (bind(sockfd,  (struct sockaddr *)&my_addr,  sizeof(struct sockaddr)) == -1) {        perror("bind");        exit(1);    }    printf("bind ok\n");    if (listen(sockfd,  BACKLOG) == -1) {        perror("listen");        exit(1);    }    printf("listen ok\b");    size_t sin_size = sizeof(struct sockaddr_in);#define MAX_EVENTS 10    struct epoll_event ev, events[MAX_EVENTS];    int conn_sock, nfds, epollfd;    epollfd = epoll_create(10);    if (epollfd == -1) {        perror("epoll_create");        exit(EXIT_FAILURE);    }    printf("epoll_create\n");    ev.events = EPOLLIN;    ev.data.fd = sockfd;    if (epoll_ctl(epollfd, EPOLL_CTL_ADD, sockfd, &ev) == -1) {        perror("epoll_ctl: sockfd");        exit(EXIT_FAILURE);    }    printf("epoll_ctl ok\n");    for (;;) {        printf("start epoll_wait\n");        nfds = epoll_wait(epollfd, events, MAX_EVENTS, -1);        if (nfds == -1) {            perror("epoll_pwait");            exit(EXIT_FAILURE);        }        printf("epoll_wait returns, nfds = %d\n", nfds);        for (int n = 0; n < nfds; ++n) {            if (events[n].data.fd == sockfd) {                conn_sock = accept(sockfd,                        (struct sockaddr *) &remote_addr, &sin_size);                if (conn_sock == -1) {                    perror("accept");                    exit(EXIT_FAILURE);                }                setnonblocking(conn_sock);                ev.events = EPOLLIN | EPOLLET;                ev.data.fd = conn_sock;                if (epoll_ctl(epollfd, EPOLL_CTL_ADD, conn_sock,                            &ev) == -1) {                    perror("epoll_ctl: conn_sock");                    exit(EXIT_FAILURE);                }            } else {                do_use_fd(events[n].data.fd);            }        }    }}