select , poll , epoll I/O Multiplexing（I/O多路复用）

关于 I/O multiplexing：

—————-这里简单介绍一下，详细请参考UNP/ linux/UNIX系统编程手册下册

其实“I/O多路复用”这个坑爹翻译可能是这个概念在中文里面如此难理解的原因。所谓的I/O多路复用在英文中其实叫 I/O multiplexing，基本是这个意思：

I/O multiplexing 这里面的 multiplexing 指的其实是在单个线程通过记录跟踪每一个Sock(I/O流)的状态来同时管理多个I/O流. 发明它的原因，是尽量多的提高服务器的吞吐能力。

epoll和read 都是阻塞的

read 和 epoll等阻塞的内容不一样，前者阻塞在整个IO调用上，后者阻塞在等待IO事件通知（多路复用就是多个文件句柄的多个状态变更通知）
select poll epoll不管是单路还是多路，都需要有个线程在那阻塞等事件通知，通知有数据了，就调用你的回调函数； 对用户程序来说，就是一个模拟的AIO。

就一个单刀多置开关，哪搞事情，就连哪。

第一套：select:

struct fd_set { __fd_mask_bits[N] };
先来几个结构体，存放要监听的读写，异常事件。

(1) fd_set read_fds;  //读fd_set write_fds; //写

(2) FD_ZERO( &read_fds );FD_ZERO( &write_fds );listenfd = listen(...)

(3)while(1) FD_SET(listenfd, &read_fds);FD_SET(connfd, &read_fds);FD_SET(connfd, &write_fds);int select(int nfds 文件描述符总数,   fd_set *readfds 可读, fd_set *writefds 可写,  fd_set *exceptfds 异常,   struct timeval *timeout 超时时间);if FD_ISSET(connfd, &read_fds)  //发生读事件if FD_ISSET(connfd, &write_fds) //发生写事件相关函数， 宏定义：        FD_ZERO(fd_set *fdset);           //清空集合FD_SET(int fd, fd_set *fdset);   //将一个给定的文件描述符加入集合之中FD_CLR(int fd, fd_set *fdset);   //将一个给定的文件描述符从集合中删除int FD_ISSET(int fd, fd_set *fdset);   // 检查集合中指定的文件描述符是否可以读写

select回射服务器：

#include <iostream>#include<mynet.h>using namespace std;#define BUF_SIZE 1024#define LISTEN_MAX 1000int main() {    cout << "TCP select 回射服务器!" << endl;    int maxi, maxfd, listenfd, connfd, sockfd, num, i;    int nready, client[FD_SETSIZE];    ssize_t n;    fd_set rset, allset;    socklen_t cli_len;    struct sockaddr_in cliaddr, servaddr;    char buf[BUF_SIZE];    listenfd = socket(AF_INET, SOCK_STREAM, 0);    int resuse = 1;    setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &resuse, sizeof(resuse));    bzero(&servaddr, sizeof(servaddr));    servaddr.sin_family = AF_INET;    servaddr.sin_port = htons(10086);    inet_pton(AF_INET, "127.0.0.1", &servaddr.sin_addr);    bind(listenfd, (struct sockaddr*)&servaddr, sizeof(servaddr));    listen(listenfd, LISTEN_MAX);    maxfd = listenfd;    maxi = -1;    for(int i = 0; i < FD_SETSIZE; i++)    {        client[i] = -1;    }    FD_ZERO(&allset);    FD_SET(listenfd, &allset);    while(1)    {        rset = allset;        printf("selecting\n");        nready = select(maxfd+1, &rset, NULL, NULL, NULL);        printf("%d\n",nready);        printf("selected\n");        if(FD_ISSET(listenfd, &rset))        {            cli_len = sizeof(cliaddr);            connfd = accept(listenfd, (struct sockaddr*)&cliaddr, &cli_len);            printf("connfd: %d", connfd);            printf("Get new one client\n");            for(i = 0; i < maxfd; i++) {                if (client[i] < 0) {                    client[i] = connfd;                    break;                }            }            FD_SET(connfd, &allset);            if(connfd > maxfd)                maxfd = connfd;            if(i > maxi)                maxi = i;            nready --;            if(nready <= 0)                continue;        }        for(i = 0; i <= maxi; i++)        {            if((sockfd = client[i]) < 0)                continue;            if( FD_ISSET(sockfd, &rset))            {                n = read(sockfd, buf, sizeof(buf));                if(n == 0)                {                    printf("lost a client\n");                    close(sockfd);                    FD_CLR(sockfd, &allset);                    client[i] = -1;                }                else{                    write(sockfd, buf, n);                }                nready --;                if(nready <= 0)                    break;            }        }    }    return 0;}

第二套：poll

fcntl(fd, F_SETFL, O_NONBLOCK)pollfd fds[]; //要监听的事件集合

struct pollfd {int   fd;         /* file descriptor */short events;     /* requested events */short revents;    /* returned events */};

fds[0].fd = listenfd;fds[0].events = POLLIN | POLLERR //监听fd 只关注 读取，错误事件，，不可能有写事件fds[0].revents = 0;       

while(1){    ret = poll(fds, user_counter+1, -1)//int poll(struct pollfd *fds, nfds_t nfds, int timeout);for(0 -- user_counter){    if(fds[i].fd == listenfd  && fds[i].revents & POLLIN){/**/    if   fds[i].revents & POLLIN   //读事件                if   fds[i].revents & POLLOUT  //写事件} 

poll 回射服务器：

/*************************************************************************        > File Name: server.cpp      > Author: dulun      > Mail: [e-mail]      > Created Time: 2016年07月19日 星期二 11时26分40秒 ************************************************************************/#include<iostream>#include<stdio.h>#include<string.h>#include<stdlib.h>#include<algorithm>#include<sys/socket.h>#include<sys/types.h>#include<netinet/in.h>#include<arpa/inet.h>#include<assert.h>#include<fcntl.h>#include<poll.h>#include<errno.h>#include<unistd.h>using namespace std;#define USER_LIMIT 100#define BUFFER_SIZE 64#define FD_LIMIT 65535struct client_data{    sockaddr_in address;    char * write_buff;    char buf[BUFFER_SIZE];};int setnonblocking( int fd ){    int old_option = fcntl( fd, F_GETFL );    int new_option = old_option | O_NONBLOCK;    fcntl( fd, F_SETFL, new_option );    return old_option;}int main(){    const char *ip = "127.0.0.1";    int port = 10086;    struct sockaddr_in address;    bzero(&address, sizeof(address));    address.sin_family = AF_INET;    inet_pton(AF_INET, ip, &address.sin_addr);    address.sin_port = htons(port);    int listenfd = socket(PF_INET, SOCK_STREAM, 0);    int resuse = 1;    setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &resuse, sizeof(resuse));    assert(listenfd >= 0);    int ret;    ret = bind(listenfd, (struct sockaddr*)&address, sizeof(address)); //命名套接字。    assert(ret != -1);    ret = listen(listenfd, USER_LIMIT);  //监听    assert(ret != -1);    client_data * users = new client_data[FD_LIMIT];    pollfd fds[USER_LIMIT+1];    int user_counter = 0;    for(int i = 1; i <= USER_LIMIT; i++)    {        fds[i].fd = -1;        fds[i].events = 0;    }    //初始化第一个    fds[0].fd = listenfd;    fds[0].events = POLLIN | POLLERR;    fds[0].revents = 0;    while(1)    {        ret = poll( fds, user_counter+1, -1 );        if(ret < 0)        {            printf("POLL failed\n");            break;        }        for(int i = 0; i < user_counter+1; i++)        {            if((fds[i].fd == listenfd) && (fds[i].revents & POLLIN) )            {                struct sockaddr_in client_address;                socklen_t client_addrlength = sizeof(client_data);                int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addrlength);                printf("accept\n");                if(connfd < 0)                {                    printf("errno is : %d \n", errno);                    continue;                }                if(user_counter >= USER_LIMIT)                {                    const char * info = "too many users\n";                    printf("%s", info);                    send(connfd, info, strlen(info), 0);                    close(connfd);                    continue;                }                user_counter++;                users[connfd].address = client_address;                setnonblocking(connfd);                fds[user_counter].fd = connfd;                fds[user_counter].events = POLLIN | POLLERR;                fds[user_counter].revents = 0;                printf("comes a new user, now have %d users\n", user_counter);            }            else if(fds[i].revents & POLLERR) //ERROR  ， fds[i].revent & POLLERR 为真，表示，发生错误,下同            {                printf("get an error form %d\n", fds[i].fd);                char errors[100];                memset(errors, 0, sizeof(errors));                socklen_t length = sizeof(errors);                if( getsockopt(fds[i].fd, SOL_SOCKET, SO_ERROR, &errors, &length) < 0)                {                    printf("get socket option failed\n");                }                continue;            }            else if(fds[i].revents & POLLRDHUP)            {                //users[fds[i].fd] = users[fds[user_counter].fd];                close(fds[i].fd);                //fds[i] = fds[]                printf("a client left\n");                sleep(1);            }            else if(fds[i].revents & POLLIN)            {                int connfd = fds[i].fd;                memset(users[connfd].buf, 0, BUFFER_SIZE);                ret = recv(connfd, users[connfd].buf, BUFFER_SIZE-1, 0);                send(connfd, users[connfd].buf, BUFFER_SIZE-1, 0);                if(ret == 0)                {                    close(connfd);                    printf("one client left\n");                    user_counter--;                    i--;                    continue;                }                printf("get %d bytes of client data %s from %d \n", ret, users[connfd].buf, connfd);                //sleep(10000); //test!                if(ret < 0)                {                    if(errno != EAGAIN)                    {                        close(connfd);                        users[fds[i].fd] = users[fds[user_counter].fd];                        fds[i] = fds[user_counter];                        i--;                        user_counter--;                    }                }                else if( ret == 0 )                {                }                else{                    for(int j = 1; j <= user_counter; j++)                    {                        if(fds[j].fd == connfd) //不等于自己，不给自己设置读写事件                        {                            continue;                        }                        //fds[j].events |= ~POLLIN; //取消读事件                        fds[j].events |= POLLOUT; //设置写事件，下次while循环，直接进下一个else if                        users[fds[j].fd].write_buff = users[connfd].buf;                    }                }            }            else if(fds[i].revents & POLLOUT) //监听到写事件（次数：user_counter-1）            {                int connfd = fds[i].fd;                if( !users[connfd].write_buff )                {                    continue;                }                ret = send(connfd, users[connfd].write_buff, strlen(users[connfd].write_buff)-1, 0); //往过发                users[connfd].write_buff = NULL; //清缓存               // fds[i].events |= ~POLLOUT; //取消写时间               // fds[i].events |= POLLIN;   //设置读事件            }        }    }    delete []users;    close(listenfd);    return 0;}

poll零拷贝客户端：
（splice + pipe 重定向标准输入到套接字描述符

/*************************************************************************        > File Name: client.c      > Author: dulun      > Mail: [e-mail]      > Created Time: 2016年07月19日 星期二 11时01分09秒 ************************************************************************/#include<stdio.h>#include<string.h>#include<stdlib.h>#include<unistd.h>#include<netinet/in.h>#include<arpa/inet.h>#include<sys/types.h>#include<sys/socket.h>#include<poll.h>#include<fcntl.h>#include<assert.h>#define BUFFER_SIZE 64int main(){   // const char * ip = "115.159.53.185";    const char * ip = "127.0.0.1";    //int port = 6550;    int port = 10086;    struct sockaddr_in server_address;    bzero( &server_address, sizeof(server_address) );    server_address.sin_family = AF_INET;    inet_pton( AF_INET, ip, &server_address.sin_addr );    server_address.sin_port = htons(port);    int sockfd = socket( PF_INET, SOCK_STREAM, 0 );    assert(sockfd >= 0);    if( connect(sockfd, (struct sockaddr*)&server_address, sizeof(server_address)) < 0 )    {        printf("connetcion failed\n");        close(sockfd);        return 1;    }    printf("connetc over!\n");    pollfd fds[2];  //0：标准输入    fds[0].fd = 0;    fds[0].events = POLLIN; //可读事件    fds[0].revents = 0;     //内核处理    //1：套接字描述符    fds[1].fd = sockfd;    fds[1].events = POLLIN | POLLRDHUP; //可读或对方中断    fds[1].revents = 0;    char read_buf[BUFFER_SIZE]; //读缓存, 用于接收    int pipefd[2];    int ret = pipe(pipefd);    assert(ret != -1);    while(1)    {        ret = poll(fds, 2, -1);  //阻塞，监听两个感兴趣的fd        if(ret < 0)        {            printf("poll failed\n");            break;        }        if(fds[1].revents & POLLRDHUP)        {            printf("server close the connetcion\n");            break;        }        else if( fds[1].revents & POLLIN )        {            memset( read_buf, 0, BUFFER_SIZE );            recv(fds[1].fd, read_buf, BUFFER_SIZE - 1, 0);            printf("%s\n", read_buf);        }        if(fds[0].revents & POLLIN)        {            //标准输入输出 通过管道 。去sockfd            //从标准输入读 ，进管道， 大小32768 更多或文件直接走内核缓冲区            ret = splice( 0, NULL, pipefd[1], NULL, 32768 , SPLICE_F_MORE | SPLICE_F_MOVE);  //  pipefd[0] 读            //从管道读， 进套接字描述符， 大小32768 更多或文件直接走内核缓冲区            ret = splice( pipefd[0], NULL, sockfd, NULL, 32768 , SPLICE_F_MORE | SPLICE_F_MOVE); //写        }    }    close(sockfd);    return 0;}

第三套 epoll:

传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是”活跃”的， 但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降 o(n)
但是epoll不存在这个问题，它只会对”活跃”的socket进行 操作—这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么，只有”活跃”的socket才会主动的去调用 callback函数，其他idle状态socket则不会，在这点上，epoll实现了一个”伪”AIO，因为这时候推动力在os内核。在一些 benchmark中，如果所有的socket基本上都是活跃的—比如一个高速LAN环境，epoll并不比select/poll有什么效率，相 反，如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。

要使用epoll只需要这三个系统调 用：epoll_create(2)， epoll_ctl(2)， epoll_wait(2)。

• epoll_create(2) creates an epoll instance and returns a file descriptor referring to that instance.
  (The more recent epoll_create1(2) extends the functionality of epoll_create(2).)
  //epoll_creat(系统调用) 创建一个epoll事件，并且返回一个文件描述符指向那个事件

• Interest in particular file descriptors is then registered via epoll_ctl(2). The set of file descriptors currently registered on an epoll instance is sometimes called an epoll set.
  //（对某些特定的有兴趣的文件描述符，通过epoll_ctl(系统调用)进行注册），文件描述符集合一般注册在一个epoll 例子，称为 epoll set

• epoll_wait(2) waits for I/O events, blocking the calling thread if no events are currently available.
  //eppll_wait(系统调用)等待I/O事件，如果当前没有事件发生，阻塞于调用的线程，

结构体：
epoll_event events[]

epollfd = epoll_create(0) //返回指向内核中文件描述符

epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &event); //加入一个描述符到内核监听队列

基本使用逻辑

(a) 使用epoll_create()函数创建文件描述，设定将可管理的最大socket描述符数目。
(b) 创建与epoll关联的接收线程，应用程序可以创建多个接收线程来处理epoll上的读通知事件，线程的数量依赖于程序的具体需要。
(c) 创建一个侦听socket描述符ListenSock；将该描述符设定为非阻塞模式，调用Listen（）函数在套接字上侦听有无新的连接请求，
在 epoll_event结构中设置要处理的事件类型EPOLLIN，工作方式为 epoll_ET，以提高工作效率，同时使用epoll_ctl()注册事件，最后启动网络监视线程。
(d) 网络监视线程启动循环，epoll_wait()等待epoll事件发生。
(e) 如果epoll事件表明有新的连接请求，则调用accept（）函数，将用户socket描述符添加到epoll_data联合体，同时设定该描述符为非 阻塞，并在epoll_event结构中设置要处理的事件类型为读和写，工作方式为epoll_ET.
(f) 如果epoll事件表明socket描述符上有数据可读，则将该socket描述符加入可读队列，通知接收线程读入数据，并将接收到的数据放入到接收数据 的链表中，经逻辑处理后，将反馈的数据包放入到发送数据链表中，等待由发送线程发送。

epoll 回射服务器：

/*************************************************************************        > File Name: server2.cpp      > Author: dulun      > Mail: [e-mail]      > Created Time: 2016年07月20日 星期三 09时12分28秒 ************************************************************************/#include<iostream>#include<stdio.h>#include<string.h>#include<stdlib.h>#include<algorithm>#include<sys/socket.h>#include<sys/types.h>#include<netinet/in.h>#include<arpa/inet.h>#include<assert.h>#include<errno.h>#include<unistd.h>#include<fcntl.h>#include<sys/epoll.h>#include<pthread.h>#define MAX_EVENT_NUMBER 1024#define TCP_BUFFER_SIZE 512#define UDP_BUFFER_SIZE 1024int setnonblocking(int fd){    int old_opt = fcntl(fd, F_GETFL);    int new_opt = old_opt | O_NONBLOCK;    fcntl(fd, F_SETFL, new_opt);    return old_opt;}void addfd(int epollfd, int fd){    epoll_event event;    event.data.fd = fd;    event.events = EPOLLIN | EPOLLET;    epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &event);    setnonblocking(fd);}int main(){    const char * ip = "127.0.0.1";    int port = 10086;    int ret = 0;    struct sockaddr_in address;    address.sin_family = AF_INET;    inet_pton(AF_INET, ip, &address.sin_addr);    address.sin_port = htons(port);    int listenfd = socket(PF_INET, SOCK_STREAM, 0);    assert(listenfd >= 0);    int resuse = 1;    setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &resuse, sizeof(resuse));    ret = bind(listenfd, (struct sockaddr*)&address, sizeof(address));    assert(ret != -1);    ret = listen(listenfd, 5);    assert(ret != -1);    bzero(&address, sizeof(address));    address.sin_family = AF_INET;    inet_pton(AF_INET, ip, &address.sin_addr);    address.sin_port = htons(port);    int udpfd = socket(PF_INET, SOCK_DGRAM, 0);    assert(udpfd >= 0);    ret = bind(udpfd, (struct sockaddr *)&address, sizeof(address));    epoll_event events[MAX_EVENT_NUMBER];    int epollfd = epoll_create(5);    addfd(epollfd, listenfd);    addfd(epollfd, udpfd);    while(1)    {        int number = epoll_wait(epollfd, events, MAX_EVENT_NUMBER, -1);        if(number < 0)        {            printf("epoll failed");            break;        }        for(int i = 0; i < number; i++)        {            int sockfd = events[i].data.fd;            if(sockfd == listenfd)            {                struct sockaddr_in client_address;                socklen_t client_addrelength = sizeof(client_address);                int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addrelength);                addfd(epollfd, connfd);            }            else if(sockfd == udpfd)            {                char buf[UDP_BUFFER_SIZE];                memset(buf, 0, sizeof(buf));                struct sockaddr_in client_address;                socklen_t client_addresslength = sizeof(client_address);                ret = recvfrom(udpfd, buf, UDP_BUFFER_SIZE-1, 0, (struct sockaddr*)&client_address, &client_addresslength);                if(ret > 0) {                    sendto(udpfd, buf, UDP_BUFFER_SIZE - 1, 0, (struct sockaddr *) &client_address, client_addresslength);                }            }            else if(events[i].events & EPOLLIN)            {                char buf[TCP_BUFFER_SIZE];                while(1)                {                    memset(buf, 0, sizeof(buf));                    ret = recv(sockfd, buf, TCP_BUFFER_SIZE - 1, 0);                    if(ret < 0)                    {                        if(errno == EAGAIN || errno == EWOULDBLOCK)                        {                            break;                        }                        close(sockfd);                        break;                    }                    else if(ret == 0)                    {                        close(sockfd);                    }                    else                    {                        send(sockfd, buf, ret, 0);//回射                    }                }            }            else{                printf("somethin else happened \n");            }        }    }    close(listenfd);    return 0;}