Linux下I/O多路转接之epoll

Linux下I/O多路转接之epoll




epoll - I/O event notification facility


在linux的网络编程中，很长的时间都在使用select来做事件触发。在linux新的内核中，有了一种替换它的机制，就是epoll。
相比于select，epoll最大的好处在于它不会随着监听fd数目的增长而降低效率。因为在内核中的select实现中，它是采用轮询来处理的，轮询的fd数目越多，自然耗时越多。并且，在linux/posix_types.h头文件有这样的声明：
#define __FD_SETSIZE    1024
表示select最多同时监听1024个fd，当然，可以通过修改头文件再重编译内核来扩大这个数目，但这似乎并不治本。


epoll的接口非常简单，一共就三个函数：
1. int epoll_create(int size);
创建一个epoll的句柄，size用来告诉内核这个监听的数目一共有多大。这个参数不同于select()中的第一个参数，给出最大监听的fd+1的值。需要注意的是，当创建好epoll句柄后，它就是会占用一个fd值，在linux下如果查看/proc/进程id/fd/，是能够看到这个fd的，所以在使用完epoll后，必须调用close()关闭，否则可能导致fd被耗尽。




2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
epoll的事件注册函数，它不同与select()是在监听事件时告诉内核要监听什么类型的事件，而是在这里先注册要监听的事件类型。第一个参数是epoll_create()的返回值，第二个参数表示动作，用三个宏来表示：
EPOLL_CTL_ADD：注册新的fd到epfd中；
EPOLL_CTL_MOD：修改已经注册的fd的监听事件；
EPOLL_CTL_DEL：从epfd中删除一个fd；
第三个参数是需要监听的fd，第四个参数是告诉内核需要监听什么事，struct epoll_event结构如下：


typedef union epoll_data {
    void *ptr;
    int fd;
    __uint32_t u32;
    __uint64_t u64;
} epoll_data_t;


struct epoll_event {
    __uint32_t events; /* Epoll events */
    epoll_data_t data; /* User data variable */
};


events可以是以下几个宏的集合：
EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）；
EPOLLOUT：表示对应的文件描述符可以写；
EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；
EPOLLERR：表示对应的文件描述符发生错误；
EPOLLHUP：表示对应的文件描述符被挂断；
EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里




3. int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
等待事件的产生，类似于select()调用。参数events用来从内核得到事件的集合，maxevents告之内核这个events有多大，这个 maxevents的值不能大于创建epoll_create()时的size，参数timeout是超时时间（毫秒，0会立即返回，-1将不确定，也有说法说是永久阻塞）。该函数返回需要处理的事件数目，如返回0表示已超时。




4、关于ET、LT两种工作模式：
可以得出这样的结论:
ET模式仅当状态发生变化的时候才获得通知,这里所谓的状态的变化并不包括缓冲区中还有未处理的数据,也就是说,如果要采用ET模式,需要一直read/write直到出错为止,很多人反映为什么采用ET模式只接收了一部分数据就再也得不到通知了,大多因为这样;而LT模式是只要有数据没有处理就会一直通知下去的.




那么究竟如何来使用epoll呢？其实非常简单。
通过在包含一个头文件#include <sys/epoll.h> 以及几个简单的API将可以大大的提高你的网络服务器的支持人数。


首先通过create_epoll(int maxfds)来创建一个epoll的句柄，其中maxfds为你epoll所支持的最大句柄数。这个函数会返回一个新的epoll句柄，之后的所有操作将通过这个句柄来进行操作。在用完之后，记得用close()来关闭这个创建出来的epoll句柄。


之后在你的网络主循环里面，每一帧的调用epoll_wait(int epfd, epoll_event events, int max events, int timeout)来查询所有的网络接口，看哪一个可以读，哪一个可以写了。基本的语法为：
nfds = epoll_wait(kdpfd, events, maxevents, -1);
其中kdpfd为用epoll_create创建之后的句柄，events是一个epoll_event*的指针，当epoll_wait这个函数操作成功之后，epoll_events里面将储存所有的读写事件。max_events是当前需要监听的所有socket句柄数。最后一个timeout是 epoll_wait的超时，为0的时候表示马上返回，为-1的时候表示一直等下去，直到有事件范围，为任意正整数的时候表示等这么长的时间，如果一直没有事件，则范围。一般如果网络主循环是单独的线程的话，可以用-1来等，这样可以保证一些效率，如果是和主逻辑在同一个线程的话，则可以用0来保证主循环的效率。


epoll_wait范围之后应该是一个循环，遍利所有的事件。


几乎所有的epoll程序都使用下面的框架：


    for( ; ; )
    {
        nfds = epoll_wait(epfd,events,20,500);
        for(i=0;i<nfds;++i)
        {
            if(events[i].data.fd==listenfd) //有新的连接
            {
                connfd = accept(listenfd,(sockaddr *)&clientaddr, &clilen); //accept这个连接
                ev.data.fd=connfd;
                ev.events=EPOLLIN|EPOLLET;
                epoll_ctl(epfd,EPOLL_CTL_ADD,connfd,&ev); //将新的fd添加到epoll的监听队列中
            }
            else if( events[i].events&EPOLLIN ) //接收到数据，读socket
            {
                n = read(sockfd, line, MAXLINE)) < 0    //读
                ev.data.ptr = md;     //md为自定义类型，添加数据
                ev.events=EPOLLOUT|EPOLLET;
                epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);//修改标识符，等待下一个循环时发送数据，异步处理的精髓
            }
            else if(events[i].events&EPOLLOUT) //有数据待发送，写socket
            {
                struct myepoll_data* md = (myepoll_data*)events[i].data.ptr;    //取数据
                sockfd = md->fd;
                send( sockfd, md->ptr, strlen((char*)md->ptr), 0 );        //发送数据
                ev.data.fd=sockfd;
                ev.events=EPOLLIN|EPOLLET;
                epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev); //修改标识符，等待下一个循环时接收数据
            }
            else
            {
                //其他的处理
            }
        }
    }
下面是服务器代码
#include<stdio.h>  
#include<stdlib.h>  
#include<string.h>  
#include<errno.h>  
#include<sys/types.h>  
#include<sys/epoll.h>  
#include<sys/socket.h>  
#include<arpa/inet.h>  
#include<netinet/in.h>  
#include<assert.h>  
#include<fcntl.h>  
#include<unistd.h>  
  
  
void usage(const char* argv)  
{   
  printf("%s:[ip][port]\n",argv);  
}  
  
void set_nonblock(int fd)  
{  
    int fl = fcntl(fd,F_GETFL);  
    fcntl(fd,F_SETFL,fl | O_NONBLOCK);  
}  
  
int startup(char* _ip,int _port)  //创建一个套接字，绑定，检测服务器  
{  
  //sock  
  //1.创建套接字  
  int sock=socket(AF_INET,SOCK_STREAM,0);     
  if(sock<0)  
  {  
      perror("sock");  
      exit(2);  
  }  
    
  int opt = 1;  
  setsockopt(sock,SOL_SOCKET,SO_REUSEADDR,&opt,sizeof(opt));  
  
  //2.填充本地 sockaddr_in 结构体（设置本地的IP地址和端口）  
  struct sockaddr_in local;         
  local.sin_port=htons(_port);  
  local.sin_family=AF_INET;  
  local.sin_addr.s_addr=inet_addr(_ip);  
  
  //3.bind（）绑定  
  if(bind(sock,(struct sockaddr*)&local,sizeof(local))<0)   
  {  
      perror("bind");  
      exit(3);  
  }  
  //4.listen（）监听 检测服务器  
  if(listen(sock,5)<0)  
  {  
      perror("listen");  
      exit(4);  
  }  
  return sock;    //这样的套接字返回  
}  
  
int main(int argc,char *argv[])                           
{  
    if(argc!=3)     //检测参数个数是否正确  
    {  
        usage(argv[0]);  
        exit(1);  
    }  
  
    int listen_sock=startup(argv[1],atoi(argv[2]));      //创建一个绑定了本地 ip 和端口号的套接字描述符  
  
  
    //1.创建epoll      
    int epfd = epoll_create(256);    //可处理的最大句柄数256个  
    if(epfd < 0)  
    {  
    perror("epoll_create");  
    exit(5);  
    }  
  
    struct epoll_event _ev;       //epoll结构填充   
    _ev.events = EPOLLIN;         //初始关心事件为读  
    _ev.data.fd = listen_sock;     
  
    //2.托管  
    epoll_ctl(epfd,EPOLL_CTL_ADD,listen_sock,&_ev);  //将listen sock添加到epfd中，关心读事件  
  
    struct epoll_event revs[64];  
  
    int timeout = -1;  
    int num = 0;  
    int done = 0;  
  
    while(!done)  
    {  
    //epoll_wait()相当于在检测事件  
        switch((num = epoll_wait(epfd,revs,64,timeout)))  //返回需要处理的事件数目  64表示 事件有多大  
        {  
            case 0:                  //返回0 ，表示监听超时  
                printf("timeout\n");  
                break;  
            case -1:                 //出错  
                perror("epoll_wait");  
                break;  
            default:                 //大于零 即就是返回了需要处理事件的数目  
              {  
        struct sockaddr_in peer;  
        socklen_t len = sizeof(peer);  
  
        int i;  
                for(i=0;i < num;i++)  
                {  
            int rsock = revs[i].data.fd; //准确获取哪个事件的描述符  
                    if(rsock == listen_sock && (revs[i].events) && EPOLLIN) //如果是初始的 就接受，建立链接  
                    {  
                        int new_fd = accept(listen_sock,(struct sockaddr*)&peer,&len);    
  
                        if(new_fd > 0)  
                        {  
                             printf("get a new client:%s:%d\n",inet_ntoa(peer.sin_addr),ntohs(peer.sin_port));  
  
                 set_nonblock(new_fd);  
                 _ev.events = EPOLLIN | EPOLLET;  
                 _ev.data.fd = new_fd;  
                 epoll_ctl(epfd,EPOLL_CTL_ADD,new_fd,&_ev);    //二次托管  
  
                        }  
            }  
            else // 接下来对num - 1 个事件处理  
            {  
            if(revs[i].events & EPOLLIN)  
            {  
                char buf[1024];  
                ssize_t _s = read(rsock,buf,sizeof(buf)-1);  
                if(_s > 0)  
                {  
                buf[_s] = '\0';  
                printf("client:%s\n",buf);  
  
                    _ev.events = EPOLLOUT | EPOLLET;  
                    _ev.data.fd = rsock;  
                    epoll_ctl(epfd,EPOLL_CTL_DEL,rsock,&_ev);    //二次托管  
                }  
                else if(_s == 0)  //client:close  
                {  
                printf("client:%d close\n",rsock);  
                epoll_ctl(epfd,EPOLL_CTL_DEL,rsock,NULL);  
  
                close(rsock);  
                }  
                else  
                {  
                perror("read");  
                }  
            }  
            else if(revs[i].events & EPOLLOUT)  
            {  
                const char *msg = "HTTP/1.0.200 OK\r\n\r\n<html><h2>李宁爱张宁！</h2></html>\r\n";  
                write(rsock,msg,strlen(msg));  
                epoll_ctl(epfd,EPOLL_CTL_DEL,rsock,NULL);  
                close(rsock);  
            }  
            else  
            {}  
            }  
        }  
          }  
          break;  
    }  
    }  
    return 0;  
}