select/epoll详解

epoll - I/O event notification facility

在linux的网络编程中，很长的时间都在使用select来做事件触发。在linux新的内核中，有了一种替换它的机制，就是epoll。
相比于select，epoll最大的好处在于它不会随着监听fd数目的增长而降低效率。因为在内核中的select实现中，它是采用轮询来处理的，轮询的fd数目越多，自然耗时越多。并且，在linux/posix_types.h头文件有这样的声明：
#define __FD_SETSIZE    1024
表示select最多同时监听1024个fd，当然，可以通过修改头文件再重编译内核来扩大这个数目，但这似乎并不治本。

epoll的接口非常简单，一共就三个函数：
1. int epoll_create(int size);
创建一个epoll的句柄，size用来告诉内核这个监听的数目一共有多大。这个参数不同于select()中的第一个参数，给出最大监听的fd+1的值。需要注意的是，当创建好epoll句柄后，它就是会占用一个fd值，在linux下如果查看/proc/进程id/fd/，是能够看到这个fd的，所以在使用完epoll后，必须调用close()关闭，否则可能导致fd被耗尽。


2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
epoll的事件注册函数，它不同与select()是在监听事件时告诉内核要监听什么类型的事件，而是在这里先注册要监听的事件类型。第一个参数是epoll_create()的返回值，第二个参数表示动作，用三个宏来表示：
EPOLL_CTL_ADD：注册新的fd到epfd中；
EPOLL_CTL_MOD：修改已经注册的fd的监听事件；
EPOLL_CTL_DEL：从epfd中删除一个fd；
第三个参数是需要监听的fd，第四个参数是告诉内核需要监听什么事，struct epoll_event结构如下：

typedef union epoll_data {
    void *ptr;
    int fd;
    __uint32_t u32;
    __uint64_t u64;
} epoll_data_t;

struct epoll_event {
    __uint32_t events; /* Epoll events */
    epoll_data_t data; /* User data variable */
};

events可以是以下几个宏的集合：
EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）；
EPOLLOUT：表示对应的文件描述符可以写；
EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；
EPOLLERR：表示对应的文件描述符发生错误；
EPOLLHUP：表示对应的文件描述符被挂断；
EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里


3. int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
等待事件的产生，类似于select()调用。参数events用来从内核得到事件的集合，maxevents告之内核这个events有多大，这个 maxevents的值不能大于创建epoll_create()时的size，参数timeout是超时时间（毫秒，0会立即返回，-1将不确定，也有说法说是永久阻塞）。该函数返回需要处理的事件数目，如返回0表示已超时。


4、关于ET、LT两种工作模式：
可以得出这样的结论:
ET模式仅当状态发生变化的时候才获得通知,这里所谓的状态的变化并不包括缓冲区中还有未处理的数据,也就是说,如果要采用ET模式,需要一直read/write直到出错为止,很多人反映为什么采用ET模式只接收了一部分数据就再也得不到通知了,大多因为这样;而LT模式是只要有数据没有处理就会一直通知下去的.


那么究竟如何来使用epoll呢？其实非常简单。
通过在包含一个头文件#include <sys/epoll.h> 以及几个简单的API将可以大大的提高你的网络服务器的支持人数。

首先通过create_epoll(int maxfds)来创建一个epoll的句柄，其中maxfds为你epoll所支持的最大句柄数。这个函数会返回一个新的epoll句柄，之后的所有操作将通过这个句柄来进行操作。在用完之后，记得用close()来关闭这个创建出来的epoll句柄。

之后在你的网络主循环里面，每一帧的调用epoll_wait(int epfd, epoll_event events, int max events, int timeout)来查询所有的网络接口，看哪一个可以读，哪一个可以写了。基本的语法为：
nfds = epoll_wait(kdpfd, events, maxevents, -1);
其中kdpfd为用epoll_create创建之后的句柄，events是一个epoll_event*的指针，当epoll_wait这个函数操作成功之后，epoll_events里面将储存所有的读写事件。max_events是当前需要监听的所有socket句柄数。最后一个timeout是 epoll_wait的超时，为0的时候表示马上返回，为-1的时候表示一直等下去，直到有事件范围，为任意正整数的时候表示等这么长的时间，如果一直没有事件，则范围。一般如果网络主循环是单独的线程的话，可以用-1来等，这样可以保证一些效率，如果是和主逻辑在同一个线程的话，则可以用0来保证主循环的效率。

epoll_wait范围之后应该是一个循环，遍利所有的事件。

几乎所有的epoll程序都使用下面的框架：

    for( ; ; )
    {
        nfds = epoll_wait(epfd,events,20,500);
        for(i=0;i<nfds;++i)
        {
            if(events[i].data.fd==listenfd) //有新的连接
            {
                connfd = accept(listenfd,(sockaddr *)&clientaddr, &clilen); //accept这个连接
                ev.data.fd=connfd;
                ev.events=EPOLLIN|EPOLLET;
                epoll_ctl(epfd,EPOLL_CTL_ADD,connfd,&ev); //将新的fd添加到epoll的监听队列中
            }
            else if( events[i].events&EPOLLIN ) //接收到数据，读socket
            {
                n = read(sockfd, line, MAXLINE)) < 0    //读
                ev.data.ptr = md;     //md为自定义类型，添加数据
                ev.events=EPOLLOUT|EPOLLET;
                epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);//修改标识符，等待下一个循环时发送数据，异步处理的精髓
            }
            else if(events[i].events&EPOLLOUT) //有数据待发送，写socket
            {
                struct myepoll_data* md = (myepoll_data*)events[i].data.ptr;    //取数据
                sockfd = md->fd;
                send( sockfd, md->ptr, strlen((char*)md->ptr), 0 );        //发送数据
                ev.data.fd=sockfd;
                ev.events=EPOLLIN|EPOLLET;
                epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev); //修改标识符，等待下一个循环时接收数据
            }
            else
            {
                //其他的处理
            }
        }

    }

下面是俩个例子：

/*********************************************Copyrigth(c),2014FUNCTION:epoll监听管道，实现两个管道互相通信AUthor:bxdVersion:实现了管道通信 mkfifo 创建俩管道用epoll监听 cat > p1(输入端)head < p2(接受端) 监听读端，读到内容写到另一个管道Date:2014-9-19Description:epoll可以解决并发时间，比select更优秀Others:Function List:*********************************************/#include <stdio.h>#include <stdlib.h>#include <unistd.h>#include <fcntl.h>#include <sys/epoll.h>struct epoll_event ev;char buf[32];int pfd1;int pfd2;int pfd3;int pfd4;int main(void){int pfd1 = open("p1", O_RDONLY|O_NONBLOCK);int pfd2 = open("p2", O_RDONLY|O_NONBLOCK);int pfd3 = open("p2",O_WRONLY|O_NONBLOCK);int pfd4 = open("p1",O_WRONLY|O_NONBLOCK);int epfd = epoll_create(1);ev.data.fd = pfd1;ev.events = EPOLLIN|EPOLLET;epoll_ctl(epfd, EPOLL_CTL_ADD,pfd1, &ev);ev.data.fd = pfd2;ev.events = EPOLLIN|EPOLLET;epoll_ctl(epfd, EPOLL_CTL_ADD, pfd2, &ev);epoll_ctl(epfd, EPOLL_CTL_ADD,1, &ev);printf(" main fd1:%d fd2:%d\n",pfd1, pfd2);while(1){epoll_wait(epfd, &ev, 1, -1);int fd = ev.data.fd;int len;while((len = read(fd, buf, 16)) > 0){buf[len] = '\0';if(fd == pfd1){printf("......%d\n", pfd1);write(pfd3, buf, len);}if(fd == pfd2){printf("pfd2:%d\n",pfd2);write(pfd4, buf, len);}//printf("fd: %d\n%s\n",fd, buf);}}return 0;}

开多个客户端（telnet localhost  8000）直连：

/*********************************************Copyrigth(c),2014FUNCTION:epoll监听套接字，监听多个 实现通信AUthor:bxdVersion://telnet localhost 8000 可以实现通信Date:2014-9-19Description:epoll可以解决并发时间，比select更优秀Others:Function List: *********************************************/#include  <unistd.h>#include  <sys/types.h>       /* basic system data types */#include  <sys/socket.h>      /* basic socket definitions */#include  <netinet/in.h>      /* sockaddr_in{} and other Internet defns */#include  <arpa/inet.h>       /* inet(3) functions */#include <sys/epoll.h> /* epoll function */#include <fcntl.h>     /* nonblocking */#include <sys/resource.h> /*setrlimit */#include <stdlib.h>#include <errno.h>#include <stdio.h>#include <string.h>#define str "I Reveived:"#define MAXEPOLLSIZE 10#define MAXLINE 10240int handle(int, int);int main(int argc, char **argv){    int  servPort = 8000;    int listenfd, connfd, kdpfd, nfds, n, nread;        int curfds,acceptCount = 0;    struct sockaddr_in servaddr, cliaddr;    socklen_t socklen = sizeof(struct sockaddr_in);    struct epoll_event ev;    struct epoll_event events[MAXEPOLLSIZE];    char buf[MAXLINE];    bzero(&servaddr, sizeof(servaddr));    servaddr.sin_family = AF_INET;     servaddr.sin_addr.s_addr = htonl (INADDR_ANY);    servaddr.sin_port = htons (servPort);    listenfd = socket(AF_INET, SOCK_STREAM, 0);     int opt = 1;    setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt));    if (bind(listenfd, (struct sockaddr *) &servaddr, sizeof(struct sockaddr)) == -1)     {        perror("bind error");        return -1;    }     listen(listenfd, 10);    /* 创建 epoll 句柄，把监听 socket 加入到 epoll 集合里 */    kdpfd = epoll_create(MAXEPOLLSIZE);//epoll_create参数大于0即可现在已不用了    ev.events = EPOLLIN | EPOLLET;    ev.data.fd = listenfd;    epoll_ctl(kdpfd, EPOLL_CTL_ADD, listenfd, &ev);/*把标准输入加入到epoll集合中*/    fcntl(STDIN_FILENO, F_SETFL,fcntl(STDIN_FILENO,F_GETFL) | O_NONBLOCK);    ev.events = EPOLLIN | EPOLLET;    ev.data.fd = STDIN_FILENO;    epoll_ctl(kdpfd, EPOLL_CTL_ADD, STDIN_FILENO, &ev);    curfds = 2;    printf("epollserver startup,port %d\n", servPort);    for (;;) {        /* 等待有事件发生 */        nfds = epoll_wait(kdpfd, events, curfds, -1);        /* 处理所有事件 */        for (n = 0; n < nfds; ++n)        {            if (events[n].data.fd == listenfd)             {                connfd = accept(listenfd, (struct sockaddr *)&cliaddr,&socklen);                sprintf(buf, "accept form %s:%d\n", inet_ntoa(cliaddr.sin_addr), cliaddr.sin_port);                printf("%d:%s", ++acceptCount, buf);                ev.events = EPOLLIN | EPOLLET;                ev.data.fd = connfd;                epoll_ctl(kdpfd, EPOLL_CTL_ADD, connfd, &ev);                curfds++;                continue;            } else if(events[n].data.fd == STDIN_FILENO){if((handle(STDIN_FILENO, connfd)) < 0){perror("STDIN_FILENO handle error");}}else             // 处理客户端请求            if (handle(events[n].data.fd, STDIN_FILENO) < 0) {                epoll_ctl(kdpfd, EPOLL_CTL_DEL, events[n].data.fd,&ev);close(events[n].data.fd);                curfds--;            }        }    }    close(listenfd);    return 0;}int handle(int readfd,int writefd) {    int nread;    char buf[MAXLINE];    nread = read(readfd, buf, MAXLINE);//读取客户端socket流    if (nread == 0) {        printf("client close the connection\n");        return -1;    }     if (nread < 0) {        perror("read error");        return -1;    } write(writefd, str, strlen(str));//提示语句    write(writefd, buf, nread);//响应客户端      return 0;}

感觉select没有epoll简单好用，并且epoll的效率高于select

下面这个是用select实现的并发：

/*********************************************Copyrigth(c),2014FUNCTION:select监听socket，,监听多个 实现通信Filename:select_socket.cAUthor:bxdVersion:Date:2014-9-19Description:epoll可以解决并发时间，比select更优秀Others:Function List:*********************************************/#include<stdio.h>#include<stdlib.h>#include<string.h>#include <ctype.h>#include <arpa/inet.h>#include<netinet/in.h>#include"wrap.h"#define MAXLINE 80#define SERV_PORT 8000int main(void){int i, maxi, maxfd, listenfd, connfd, socked;int nready, client[FD_SETSIZE];ssize_t n;fd_set rset, allset;char buf[MAXLINE];char str[INET_ADDRSTRLEN];socklen_t cliaddr_len;struct sockaddr_in cliaddr, servaddr;listenfd = Socket(AF_INET, SOCK_STREAM, 0);bzero(&servaddr, sizeof(servaddr));servaddr.sin_family = AF_INET;servaddr.sin_addr.s_addr = htonl(INADDR_ANY);servaddr.sin_port = htons(SERV_PORT);Bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr));Listen(listenfd, 20);maxfd = listenfd;maxi = -1;for (i = 0; i < FD_SETSIZE; i++)  client[i] = -1;FD_ZERO(&allset);FD_SET(listenfd, &allset);for (; ;) {rset = allset;nready = select(maxfd + 1, &rset, NULL, NULL, NULL);if (nready < 0)  perr_exit("select error");if (FD_ISSET(listenfd, &rset)) {cliaddr_len = sizeof(cliaddr);connfd = Accept(listenfd, (struct sockaddr *)&cliaddr, &cliaddr_len);printf("received from %s at PORT %d\n",(char *)inet_ntop(AF_INET, &cliaddr.sin_addr,str, sizeof(str)), ntohs(cliaddr.sin_port));for (i = 0; i < FD_SETSIZE; i++)  if (client[i] < 0) {  client[i] = connfd;    break;  }if (i == FD_SETSIZE) {fputs("too many client\n", stderr);\exit(1);}FD_SET(connfd, &allset);if (connfd > maxfd)  maxfd = connfd;if (i > maxi)  maxi = i;if (--nready == 0)  continue;}for (i = 0; i <= maxi; i++) {if ((socked = client[i]) < 0)  continue;if (FD_ISSET(socked, &rset)) {if ((n = Read(socked, buf, MAXLINE)) == 0) {Close(socked);FD_CLR(socked, &allset);client[i] = -1;} else {int j;for (j = 0; j < n; j++)  buf[j] = toupper(buf[j]);Write(socked, buf, n);}if (--nready == 0)  break;}}}return 0;}

wrap.c

#include "wrap.h"static ssize_t my_read(int fd, char *ptr);void perr_exit(const char *s){perror(s);exit(1);}int Accept(int fd, struct sockaddr *sa, socklen_t *salenptr){int n;again:if((n = accept(fd, sa, salenptr)) < 0){if((errno == ECONNABORTED) || (errno == EINTR))goto again;elseperr_exit("accept error");}return n;}void Bind(int fd, const struct sockaddr *sa, socklen_t salen){if(bind(fd, sa, salen) < 0)perr_exit("bind error");}void Connect(int fd, const struct sockaddr *sa, socklen_t salen){if(connect(fd, sa, salen) < 0)perr_exit("Connect error");}void Listen(int fd, int backlog){if(listen(fd,backlog) < 0)perr_exit("listen error");}int Socket(int family, int type, int protocol){int n;if((n = socket(family, type, protocol)) < 0)perr_exit("socket error");return n;}ssize_t Read(int fd, void *ptr, size_t nbytes){ssize_t n;again:if((n = read(fd, ptr, nbytes)) == -1){if(errno == EINTR)goto again;elsereturn -1;}return n;}ssize_t Write(int fd, const void *ptr,size_t nbytes){ssize_t n;again:if((n = write(fd, ptr, nbytes)) == -1){if(errno == EINTR)goto again;elsereturn -1;}return n;}void Close(int fd){if(close(fd) == -1)perr_exit("Close error");}ssize_t Readn(int fd, void *vptr, size_t n){size_t nleft;ssize_t nread;char *ptr;ptr = vptr;nleft = n;while(nleft > 0){if((nread = read(fd, ptr, nleft)) < 0){if(errno == EINTR)nread = 0;elsereturn -1;}else if(nread ==  0)break;nleft -= nread;ptr += nread;}return n - nleft;}ssize_t Writen(int fd, const void *vptr, size_t n){size_t nleft;ssize_t nwritten;const char *ptr;ptr = vptr;nleft = n;while(nleft > 0){if((nwritten = write(fd,ptr, nleft)) < 0){if(nwritten < 0 && errno == EINTR)nwritten = 0;elsereturn -1;}nleft -= nwritten;ptr += nwritten;}return n;}static ssize_t my_read(int fd, char *ptr){static int read_cnt;static char *read_ptr;static char read_buf[100];if(read_cnt <= 0){again:if((read_cnt = read(fd, read_buf, sizeof(read_buf))) < 0){if(errno == EINTR)goto again;return -1;}else if(read_cnt == 0)return 0;read_ptr = read_buf;}read_cnt--;*ptr = *read_ptr++;return 1;}ssize_t Readline(int fd, void *vptr, size_t maxlen){ssize_t n, rc;char c, *ptr;ptr = vptr;for(n = 1; n < maxlen; n++){if((rc = my_read(fd, &c)) == 1){*ptr++ = c;if(c == '\n')break;}else if(rc == 0){*ptr = 0;return n - 1;}elsereturn -1;}*ptr = 0;return n;}

wrap.h

#ifndef WRAP_H#define WRAP_H#include <stdlib.h>#include <stdio.h>#include <string.h>#include <errno.h>#include <unistd.h>#include <sys/socket.h>void perr_exit(const char *arg);int Accept(int fd, struct sockaddr *sa, socklen_t *salenptr);void Bind(int fd, const struct sockaddr *sa,socklen_t salen);void Connect(int fd, const struct sockaddr *sa,socklen_t salen);void Listen(int fd, int backlog);int Socket(int family, int type, int protocol);ssize_t Read(int fd, void *ptr, size_t nbytes);ssize_t Write(int fd, const void *ptr,size_t nbytes);void Close(int fd);ssize_t Readn(int fd, void *vptr, size_t n);ssize_t Writen(int fd, const void *vptr, size_t n);//static ssize_t my_read(int fd, char *ptr);ssize_t Readline(int fd, void *vptr, size_t maxlen);#endif