epoll模型

参考文章：epoll详解

--------------------------------------------------------------------------------------------------拷贝下原理概念------------------------------------------------------------------------------------------------------

什么是epoll

epoll是什么？按照man手册的说法：是为处理大批量句柄而作了改进的poll。当然，这不是2.6内核才有的，它是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44)，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。

 

epoll的相关系统调用

epoll只有epoll_create,epoll_ctl,epoll_wait 3个系统调用。

 

1. int epoll_create(int size);

创建一个epoll的句柄。自从linux2.6.8之后，size参数是被忽略的。需要注意的是，当创建好epoll句柄后，它就是会占用一个fd值，在linux下如果查看/proc/进程id/fd/，是能够看到这个fd的，所以在使用完epoll后，必须调用close()关闭，否则可能导致fd被耗尽。

 

2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

epoll的事件注册函数，它不同于select()是在监听事件时告诉内核要监听什么类型的事件，而是在这里先注册要监听的事件类型。

第一个参数是epoll_create()的返回值。

第二个参数表示动作，用三个宏来表示：

EPOLL_CTL_ADD：注册新的fd到epfd中；

EPOLL_CTL_MOD：修改已经注册的fd的监听事件；

EPOLL_CTL_DEL：从epfd中删除一个fd；

 

第三个参数是需要监听的fd。

第四个参数是告诉内核需要监听什么事，struct epoll_event结构如下：

[cpp] view plaincopyprint?

1. //保存触发事件的某个文件描述符相关的数据（与具体使用方式有关）  
2.   
3. typedef union epoll_data {  
4.     void *ptr;  
5.     int fd;  
6.     __uint32_t u32;  
7.     __uint64_t u64;  
8. } epoll_data_t;  
9.  //感兴趣的事件和被触发的事件  
10. struct epoll_event {  
11.     __uint32_t events; /* Epoll events */  
12.     epoll_data_t data; /* User data variable */  
13. };  

events可以是以下几个宏的集合：

EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）；

EPOLLOUT：表示对应的文件描述符可以写；

EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；

EPOLLERR：表示对应的文件描述符发生错误；

EPOLLHUP：表示对应的文件描述符被挂断；

EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来说的。

EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里

3. int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

收集在epoll监控的事件中已经发送的事件。参数events是分配好的epoll_event结构体数组，epoll将会把发生的事件赋值到events数组中（events不可以是空指针，内核只负责把数据复制到这个events数组中，不会去帮助我们在用户态中分配内存）。maxevents告之内核这个events有多大，这个 maxevents的值不能大于创建epoll_create()时的size，参数timeout是超时时间（毫秒，0会立即返回，-1将不确定，也有说法说是永久阻塞）。如果函数调用成功，返回对应I/O上已准备好的文件描述符数目，如返回0表示已超时。

 

epoll工作原理

epoll同样只告知那些就绪的文件描述符，而且当我们调用epoll_wait()获得就绪文件描述符时，返回的不是实际的描述符，而是一个代表就绪描述符数量的值，你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可，这里也使用了内存映射（mmap）技术，这样便彻底省掉了这些文件描述符在系统调用时复制的开销。

 

另一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描述符进行扫描，而epoll事先通过epoll_ctl()来注册一个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait()时便得到通知。

 

Epoll的2种工作方式-水平触发（LT）和边缘触发（ET）

假如有这样一个例子：

1. 我们已经把一个用来从管道中读取数据的文件句柄(RFD)添加到epoll描述符

2. 这个时候从管道的另一端被写入了2KB的数据

3. 调用epoll_wait(2)，并且它会返回RFD，说明它已经准备好读取操作

4. 然后我们读取了1KB的数据

5. 调用epoll_wait(2)......

Edge Triggered 工作模式：

如果我们在第1步将RFD添加到epoll描述符的时候使用了EPOLLET标志，那么在第5步调用epoll_wait(2)之后将有可能会挂起，因为剩余的数据还存在于文件的输入缓冲区内，而且数据发出端还在等待一个针对已经发出数据的反馈信息。只有在监视的文件句柄上发生了某个事件的时候 ET 工作模式才会汇报事件。因此在第5步的时候，调用者可能会放弃等待仍在存在于文件输入缓冲区内的剩余数据。在上面的例子中，会有一个事件产生在RFD句柄上，因为在第2步执行了一个写操作，然后，事件将会在第3步被销毁。因为第4步的读取操作没有读空文件输入缓冲区内的数据，因此我们在第5步调用 epoll_wait(2)完成后，是否挂起是不确定的。epoll工作在ET模式的时候，必须使用非阻塞套接口，以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。最好以下面的方式调用ET模式的epoll接口，在后面会介绍避免可能的缺陷。

   i    基于非阻塞文件句柄

   ii   只有当read(2)或者write(2)返回EAGAIN时才需要挂起，等待。但这并不是说每次read()时都需要循环读，直到读到产生一个EAGAIN才认为此次事件处理完成，当read()返回的读到的数据长度小于请求的数据长度时，就可以确定此时缓冲中已没有数据了，也就可以认为此事读事件已处理完成。

Level Triggered 工作模式

相反的，以LT方式调用epoll接口的时候，它就相当于一个速度比较快的poll(2)，并且无论后面的数据是否被使用，因此他们具有同样的职能。因为即使使用ET模式的epoll，在收到多个chunk的数据的时候仍然会产生多个事件。调用者可以设定EPOLLONESHOT标志，在 epoll_wait(2)收到事件后epoll会与事件关联的文件句柄从epoll描述符中禁止掉。因此当EPOLLONESHOT设定后，使用带有 EPOLL_CTL_MOD标志的epoll_ctl(2)处理文件句柄就成为调用者必须作的事情。

LT(level triggered)是epoll缺省的工作方式，并且同时支持block和no-block socket.在这种做法中，内核告诉你一个文件描述符是否就绪了，然后你可以对这个就绪的fd进行IO操作。如果你不作任何操作，内核还是会继续通知你 的，所以，这种模式编程出错误可能性要小一点。传统的select/poll都是这种模型的代表．

 

ET (edge-triggered)是高速工作方式，只支持no-block socket，它效率要比LT更高。ET与LT的区别在于，当一个新的事件到来时，ET模式下当然可以从epoll_wait调用中获取到这个事件，可是如果这次没有把这个事件对应的套接字缓冲区处理完，在这个套接字中没有新的事件再次到来时，在ET模式下是无法再次从epoll_wait调用中获取这个事件的。而LT模式正好相反，只要一个事件对应的套接字缓冲区还有数据，就总能从epoll_wait中获取这个事件。

因此，LT模式下开发基于epoll的应用要简单些，不太容易出错。而在ET模式下事件发生时，如果没有彻底地将缓冲区数据处理完，则会导致缓冲区中的用户请求得不到响应。

Nginx默认采用ET模式来使用epoll。

 

epoll的优点：

1.支持一个进程打开大数目的socket描述符(FD)

    select 最不能忍受的是一个进程所打开的FD是有一定限制的，由FD_SETSIZE设置，默认值是2048。对于那些需要支持的上万连接数目的IM服务器来说显然太少了。这时候你一是可以选择修改这个宏然后重新编译内核，不过资料也同时指出这样会带来网络效率的下降，二是可以选择多进程的解决方案(传统的 Apache方案)，不过虽然linux上面创建进程的代价比较小，但仍旧是不可忽视的，加上进程间数据同步远比不上线程间同步的高效，所以也不是一种完美的方案。不过 epoll则没有这个限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右，具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。

 

2.IO效率不随FD数目增加而线性下降

    传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是"活跃"的，但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。但是epoll不存在这个问题，它只会对"活跃"的socket进行操作---这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么，只有"活跃"的socket才会主动的去调用 callback函数，其他idle状态socket则不会，在这点上，epoll实现了一个"伪"AIO，因为这时候推动力在os内核。在一些 benchmark中，如果所有的socket基本上都是活跃的---比如一个高速LAN环境，epoll并不比select/poll有什么效率，相反，如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。

 

3.使用mmap加速内核与用户空间的消息传递

    这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间，如何避免不必要的内存拷贝就很重要，在这点上，epoll是通过内核于用户空间mmap同一块内存实现的。而如果你想我一样从2.5内核就关注epoll的话，一定不会忘记手工 mmap这一步的。

 

4.内核微调

这一点其实不算epoll的优点了，而是整个linux平台的优点。也许你可以怀疑linux平台，但是你无法回避linux平台赋予你微调内核的能力。比如，内核TCP/IP协议栈使用内存池管理sk_buff结构，那么可以在运行时期动态调整这个内存pool(skb_head_pool)的大小--- 通过echo XXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函数的第2个参数(TCP完成3次握手的数据包队列长度)，也可以根据你平台内存大小动态调整。更甚至在一个数据包面数目巨大但同时每个数据包本身大小却很小的特殊系统上尝试最新的NAPI网卡驱动架构。

 

linux下epoll如何实现高效处理百万句柄的

开发高性能网络程序时，windows开发者们言必称iocp，linux开发者们则言必称epoll。大家都明白epoll是一种IO多路复用技术，可以非常高效的处理数以百万计的socket句柄，比起以前的select和poll效率高大发了。我们用起epoll来都感觉挺爽，确实快，那么，它到底为什么可以高速处理这么多并发连接呢？

 

使用起来很清晰，首先要调用epoll_create建立一个epoll对象。参数size是内核保证能够正确处理的最大句柄数，多于这个最大数时内核可不保证效果。

 

epoll_ctl可以操作上面建立的epoll，例如，将刚建立的socket加入到epoll中让其监控，或者把 epoll正在监控的某个socket句柄移出epoll，不再监控它等等。

 

epoll_wait在调用时，在给定的timeout时间内，当在监控的所有句柄中有事件发生时，就返回用户态的进程。

 

从上面的调用方式就可以看到epoll比select/poll的优越之处：因为后者每次调用时都要传递你所要监控的所有socket给select/poll系统调用，这意味着需要将用户态的socket列表copy到内核态，如果以万计的句柄会导致每次都要copy几十几百KB的内存到内核态，非常低效。而我们调用epoll_wait时就相当于以往调用select/poll，但是这时却不用传递socket句柄给内核，因为内核已经在epoll_ctl中拿到了要监控的句柄列表。

 

所以，实际上在你调用epoll_create后，内核就已经在内核态开始准备帮你存储要监控的句柄了，每次调用epoll_ctl只是在往内核的数据结构里塞入新的socket句柄。

 当一个进程调用epoll_creaqte方法时，Linux内核会创建一个eventpoll结构体，这个结构体中有两个成员与epoll的使用方式密切相关：

--------------------------------------------------------------------------------------------------end---------------------------------------------------------------------------------------------------------------

一个简单的代码：

//epoll模型的实现#include <unistd.h>#include <sys/epoll.h>#include <sys/types.h>//#include <sys/inet.h>#include <iostream>#include <sys/socket.h>#include <cstdio>#include <cstdlib>#include <cstring>#include <arpa/inet.h> #include <errno.h>#include <netinet/in.h>#include <fcntl.h>#define MAX_FD 256#define MAX_EVENTS 200  //一定要小于MAX_FDusing namespace std;int set_noblock(int fd);int my_socket();int main(){    epoll_event event;    epoll_event events[MAX_EVENTS];    int sockfd;    if((sockfd=my_socket() )< 0)    {        cout << "press CTRL+C quit!" << endl;        sleep(10);    }    //创建epoll关键字    //epoll创建后，后生成一个结构体eventpoll,其内部有两个重要的数据。    //一个是存储fd的红黑树，一个是event事件的双向链表    int fd_epoll=epoll_create(MAX_FD);    if(fd_epoll < 0)    {        puts("create epoll error!");    }    //注册epoll    event.data.fd=sockfd;    event.events= EPOLLIN | EPOLLET; //读入和边缘触发模式    //ctl的时候，将fd加入到eventpoll结构体中的红黑树，如果重复则可以识别出来(怎么识别，根据返回值?)    //根据event.events的值和EPOLL_CRL_XXX，在内核中断处理程序注册回调函数    //回调函数的激活依赖于EPOLL_CRT_ADD,EPOLLIN,EPOLLLT,甚至更多    int nRet=epoll_ctl(fd_epoll,EPOLL_CTL_ADD,sockfd,&event);    if(nRet < 0)    {        cout << "ctl epoll failed!" << endl;    }    memset(events,0x00,sizeof(events));    char sBuf[256];    listen(sockfd,5);    //cout << "EPOLLIN:" << EPOLLIN << endl;    //cout << "EPOLLOUT" << EPOLLOUT << endl;    while(true)    {        //注意这里的参数里面的events，是一个指针。现在的值是空的。wait之后才有了值        //这里内核与用户空间mmap了同一块内存，效率提升        //成功返回事件的个数，错误返回-1        //puts("begin wait");        memset(events,0x00,sizeof(events));        nRet=epoll_wait(fd_epoll,events,MAX_EVENTS,-1); // -1一直等待，其他正整数代表超时时间，毫秒        //cout << "end wait,nRet=" << nRet << endl;        for(int i =0;i < nRet;i++)        {        //cout << "events[i].events=" << events[i].events << endl;        //cout << "sock:" << events[i].data.fd << ",nRet:" << nRet << endl;            if(events[i].data.fd==sockfd) //有新的accept连接            {            while(true)            {             int sock=accept(sockfd,NULL,NULL);                if(sock == -1)                {                if(errno == EAGAIN || errno == EWOULDBLOCK)                {                //printf("errno:%m",errno);                puts("accept over!");                cout << errno << endl;                break;                }                    //cout << "accept error,fd=" << sock << ",nRet=" << nRet  << ",listfd=" << sockfd << endl;                    continue;                }                cout << "add accept..." << endl;                bzero(&event,sizeof(event));                event.data.fd=sock;                event.events= EPOLLIN | EPOLLET;                if(set_noblock(sock) != 0 )            return -1;               // cout << "sock=" << sock << endl;                               int iRet=epoll_ctl(fd_epoll,EPOLL_CTL_ADD,sock,&event);                if(iRet < 0)                {                    cout << "epoll ctl error!" << endl;                    continue;                }            }                                           }            else if(events[i].events & EPOLLIN)            {                //读事件                cout << "read" << endl;                while(true)                {                    memset(sBuf,0x00,sizeof(sBuf));                    cout << "begin read!" << endl;                    int iRc=read(events[i].data.fd,sBuf,sizeof(sBuf));                    cout << "read return:" << iRc << endl;                    if(iRc == -1)                    {                        if(errno != EAGAIN)                        {                            cout << "read error!" << endl;                                                    }                        //read over                        break;                    }                    else if(iRc == 0)                    {                        //connection closed                        cout << "someone quit!" << endl;                        close(events[i].data.fd);                        break;                    }                    else                     {                        int j=write(1,sBuf,strlen(sBuf));                        if(j < 0)                        {                            cout  << "write error!" << endl;                            break;                        }                    }                }                cout << "read over!" << endl;                //状态切换，跳到write//                event.data.fd=events[i].data.fd;//                event.events= EPOLLOUT | EPOLLET;//                int k =epoll_ctl(fd_epoll,EPOLL_CTL_MOD,event.data.fd,&event);//                if(k < 0)//                {//                    cout << "epoll_ctl error!" << endl;//                }            }            else if(events[i].events & EPOLLOUT)            {                //暂不开发                cout << "write" << endl;            }            else            {            cout << "2events[i].events=" << events[i].events << endl;               // printf("error:%m\n",errno);            }        }    }    close(fd_epoll);}int my_socket(){        int listfd=socket(AF_INET,SOCK_STREAM,0);        if(listfd < 0)            puts("create socket failed!");        sockaddr_in sa;        inet_aton("127.0.0.1",&sa.sin_addr);        sa.sin_family=AF_INET;        sa.sin_port=htons(8444);        if(bind(listfd,(sockaddr *)&sa,sizeof(sa)) < 0)        {            cout << "bind error!" << endl;            exit(1);        }                if(set_noblock(listfd) != 0 )            return -1;        return listfd;}int set_noblock(int fd){    int flag=fcntl(fd,F_GETFL,0);    if(flag < 0)       {            cout << "fcntl get failed!" << endl;            return -1;       }    if(fcntl(fd,F_SETFL,flag | O_NONBLOCK) < 0 )       {            cout << "fcntl set failed!" << endl;            return -1;       }    return 0;}

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
多进程下的epoll: