多路转接之epoll服务器

1、epoll服务器的设计原理

epoll服务器实现的仍然是多路转接，所以实现当然也是 可以等待多个文件描述符了。

但是，epoll服务器相对于poll服务器与select有了很大程度上的改变，优化了它的性能。（它的优点之后我们在来详细说说吧！）

1.1、epoll服务器的底层实现

大家下来先看看这幅图：

1.2、epoll模型的底层实现接口

【epoll_create】

       #include <sys/epoll.h>       int epoll_create(int size);创建epoll模型返回模型的句柄（也就是模型的标识符）

size参数是被忽略的；

【epoll_ctl】

       #include <sys/epoll.h>       int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);//epoll的事件注册函数

函数描述就是对epfd这个epoll模型中的fd文件描述符执行op操作，操作时间为event

第一个参数是epoll_create()的返回值。
第二个参数表示动作，用三个宏来表示：

EPOLL_CTL_ADD：

注册新的fd到epfd中；

EPOLL_CTL_MOD：

修改已经注册的fd的监听事件；

EPOLL_CTL_DEL：

从epfd中删除一个fd；

第三个参数是需要监听的fd。

第四个参数是告诉内核需要监听什么事，struct epoll_event结构如下：

           typedef union epoll_data {               void        *ptr;               int          fd;               __uint32_t   u32;               __uint64_t   u64;           } epoll_data_t;           struct epoll_event {               __uint32_t   events;      /* Epoll events */               epoll_data_t data;        /* User data variable */           };

events可以是以下几个宏的集合：

EPOLLIN

表示对应的文件描述符可以读（包括对端SOCKET正常关闭）

EPOLLOUT

表示对应的文件描述符可以写

EPOLLPRI

表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）

EPOLLERR

表示对应的文件描述符发生错误

EPOLLHUP

表示对应的文件描述符被挂断

EPOLLET

将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(LevelTriggered)来说的。

EPOLLONESHOT

只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里

【epoll_wait】

       #include <sys/epoll.h>       int epoll_wait(int epfd, struct epoll_event *events,                      int maxevents, int timeout);

epoll模型等待，收集在epoll监控的事件中已经发送的事件。
参数events是分配好的epoll_event结构体数组，epoll将会把发⽣生的事件赋值到events数组中（events不可以是空指针，内核只负责把数据复
制到这个events数组中，不会去帮助我们在用户态中分配内存）。maxevents告之内核这个events有多大，这个 maxevents的值不能大于创建epoll_create()时的size，参数timeout是超时时间（毫秒，0会立即返回，-1将不确定，也有说法说是永久阻塞）。如果函数调用成功，返回对应I/O上已准备好的文件描述符数目，如返回0表示已超时。

1.3、epoll服务器的设计优点

相对于select服务器来说的话，epoll服务器下有下列的优点：

① 底层采用的是红黑树来存储需要等待的I/O事件，没有上限的限制。查询时间复杂度相对要优化很多。

② epoll采用基于事件的就绪通知方式，epoll事先通过epoll_ctl()来注册一个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，并将此结点放到就绪队列中，当进程调用epoll_wait()时便得到通知。

③ epoll的返回值，返回的就是已就绪的I/O事件，不需要想select和poll那样循环来查找，哪些事件就绪。事件复杂度为O(1);

④ 使用了内存映射（mmap）技术，这样便彻底省掉了这些文件描述符在系统调用时复制的开销。

2、实现epoll服务器

Epoll的2种工作方式-水平触发（LT）和边缘触发（ET）

水平触发【LT】：epoll缺省的工作方式，并且同时支持block和no-block socket.在这种做法中，内核告诉你一个文件描述符是否就绪了，然后你可以对这个就绪的fd进行IO操作。如果你不作任何操作，内核还是会继续通知你 的，所以，这种模式编程出错误可能性要小一点。传统的select/poll都是这种模型的代表．

边缘触发【ET】：是高速工作方式，只支持no-block socket，它效率要比LT更高。ET与LT的区别在于，当一个新的事件到来时，ET模式下当然可以从epoll_wait调用中获取到这个事件，可是如果这次没有把这个事件对应的套接字缓冲区处理完，在这个套接字中没有新的事件。再次到来时，在ET模式下是无法再次从epoll_wait调用中获取这个事件的。

简单来说，在LT模式下，文件描述符就绪之后，你要是没有处理的话，内核会一直通知你。

在ET模式下，只要有文件描述符事件就绪之后。内核通知一次，不管有没有处理这个事件。

2.1、实现LT模式下的epoll服务器

#include<stdio.h>#include<stdlib.h>#include<sys/types.h>#include<sys/socket.h>#include<arpa/inet.h>#include<string.h>#include<netinet/in.h>#include<sys/epoll.h>#include<poll.h>static  void  Usage( const char  *proc){printf("Usage: %s  [ip_addr] [port]\n"),proc;}//创建listen服务器int startup(const  char  *  ip,int port){//创建套接字int sock = socket(AF_INET,SOCK_STREAM,0);if(sock <0){perror("socket");exit(5);}const int opt = 1;//设置 绑定方式为  可重复使用地址端口setsockopt(sock,SOL_SOCKET,SO_REUSEADDR,&opt,sizeof(opt));struct  sockaddr_in  local;local.sin_family= AF_INET;local.sin_port = htons(port);local.sin_addr.s_addr = inet_addr(ip);//绑定 本地服务器if(bind(sock,(struct sockaddr*)&local,sizeof(local))< 0){perror("bind");exit(6);}//设置为监听if(listen(sock,10)< 0){perror("listen");exit(7);}return sock;}int main(int argc ,char *argv[]){if(argc != 3){Usage(argv[0]);return 1;}int listen_sock  = startup(argv[1],atoi(argv[2]));//建立epoll模型int epollfd  =epoll_create(256);//对epoll模型进行管理struct  epoll_event event;event.events = EPOLLIN;event.data.fd =  listen_sock;epoll_ctl(epollfd,EPOLL_CTL_ADD,listen_sock,&event);//设置每次最大读取64个文件描述符int maxsize = 64;int timeout = -1;//-1  blockchar buf[1024];while(1){int n = 0 ;struct epoll_event ev[maxsize];switch(n = epoll_wait(epollfd,ev,maxsize,timeout)){case 0:printf("timeout ..\n");break;case -1:perror("epoll");break;default:{//at  least one ev  ready;int i = 0 ;for(;i < n;++i){int fd  = ev[i].data.fd;if(fd == listen_sock&&ev[i].events&EPOLLIN){struct sockaddr_in addr;socklen_t  len =sizeof(addr);int client_sock  =accept(listen_sock,\(struct sockaddr*)&addr,\&len);if(client_sock < 0 ){perror("accept");continue;}printf("get a connect:[%s ,%d]\n",inet_ntoa(addr.sin_addr),ntohs(addr.sin_port));event.events = EPOLLIN;event.data.fd = client_sock;epoll_ctl(epollfd,EPOLL_CTL_ADD,client_sock,&event);}else if(fd != listen_sock){//表示的是 读事件就绪if(ev[i].events & EPOLLIN){//read ev  ready;ssize_t  s =read(fd,buf,sizeof(buf)-1);if(s< 0){perror("read");return 3;}else if(s == 0){printf("client quit\n");epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);close(fd);}else{buf[s] =0 ;event.events = EPOLLOUT;event.data.fd = fd;epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);printf("client#:%s\n",buf);}}//表示的是写事件就绪 下面实现的是if(ev[i].events&EPOLLOUT){//write ev ready;const  char  * msg = "HTTP/1.0 200 OK\r\n\r\n<html><h1>Hello Epoll!</h1></html>";write(fd,msg,strlen(msg));event.events = EPOLLIN;event.data.fd = fd;epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);//printf("server#:");//fflush(stdout);//ssize_t  s = read(0,buf,sizeof(buf)-1);//if(s <=0)//{//perror("read");//close(fd);//epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);//return  4;//}//else//{//buf[s-1] =0 ;//write(fd,buf,strlen(buf));//event.events = EPOLLIN;//event.data.fd =fd;//epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);//}}}}}break;}}return  0;}

2.2、实现ET模式下的epoll服务器

ET模式下需要注意的地方：

一、ET模式下的文件描述符需要设置为是非阻塞的方式。

二、ET模式下每次调用read时，要把数据一次性读完，否则会造成数据丢失。

三、ET模式下每次调用到write时，一次性把数据写完。

实现代码：

#include<stdio.h>#include<stdlib.h>#include<sys/types.h>#include<sys/socket.h>#include<arpa/inet.h>#include<string.h>#include<netinet/in.h>#include<sys/epoll.h>#include<poll.h>#include<fcntl.h>#include<unistd.h>#include<errno.h>#define SIZE 10240typedef struct epoll_buf{int fd;char  buf[SIZE];}epoll_buf_t, *epoll_buf_p;//设置文件描述符为非阻塞void set_nonblock(int fd){int fl= fcntl(fd,F_GETFL);if(fl < 0){perror("fcntl");exit(4);}if(fcntl(fd,F_SETFL,fl|O_NONBLOCK)){perror("fcntl  set no block  err");exit(4);}}static void * alloc_buf(int fd)//为每一个文件描述符开辟空间{epoll_buf_p tmp = (epoll_buf_p)malloc(sizeof(epoll_buf_t));if(tmp == NULL){perror("malloc");exit(3);}tmp->fd = fd;return tmp;}//自己实现的read函数，一次要读完ssize_t myread(int fd,char  *buf){ssize_t  len = 0 ;ssize_t  total = 0 ;//错误码为EAGAIN表示读写事件没有就绪 设置为while((len  = read(fd,buf+total,1024))&&\(len == 1024)&&\errno !=EAGAIN){total += len;}if(len < 0&&errno== EAGAIN){perror("read");return -1;}if(len  >= 0&&len < 1024){total += len;}return total;}//自己实现的write函数  一次写完ssize_t mywrite(int fd ,char *buf,int len){//nwr 表示的是当前写的数据个数//pos表示的是当前写到的位置 //n表示的是还需要读到的数据ssize_t  pos = 0 ;ssize_t  nwr = 0 ; ssize_t  n = len ;//此循环表示的是还在 写进去的数据不是空 并且还没有写完 ，读写的事件为就绪while((nwr = write(fd,buf+pos,n))&&\errno != EAGAIN &&\nwr <  n){n -= nwr;pos += nwr;}//表示的是正好读完了if(n ==nwr ){pos = n;}//表示出现错误if(nwr < 0 && errno == EAGAIN ) {perror("write");return -1;}return pos;}//自己实现一个accept函数   一次接受完//listen_sock表示监听套接字,epollfd表示的是epoll模型void  myaccept(int listen_sock,int  epoll_fd){struct sockaddr_in addr;socklen_t  len =sizeof(addr);int client_sock = 0 ;//一次将所有的连接都读到 所有的连接while((client_sock =accept(listen_sock,\(struct sockaddr*)&addr,\&len)) > 0 ){printf("get  a connect :[%s,%d]\n",inet_ntoa(addr.sin_addr),ntohs(addr.sin_port));struct epoll_event event;//将所有链接成功的连接   都添加到epoll模型  设置为ET模式event.events = EPOLLIN|EPOLLET;//设置文件描述符为   非阻塞set_nonblock(client_sock);//为该文件描述符自己开辟缓冲区event.data.ptr = alloc_buf(client_sock);epoll_ctl(epoll_fd,EPOLL_CTL_ADD,client_sock,&event);}}//创建listen服务器int startup(const  char  *  ip,int port){//创建套接字int sock = socket(AF_INET,SOCK_STREAM,0);if(sock <0){perror("socket");exit(5);}//设置连接为  可重复使用端口地址 SO_REUSEADDRconst int opt = 1;setsockopt(sock,SOL_SOCKET,SO_REUSEADDR,&opt,sizeof(opt));struct  sockaddr_in  local;local.sin_family= AF_INET;local.sin_port = htons(port);local.sin_addr.s_addr = inet_addr(ip);//绑定 本地服务器if(bind(sock,(struct sockaddr*)&local,sizeof(local))< 0){perror("bind");exit(6);}//设置为监听if(listen(sock,10)< 0){perror("listen");exit(7);}return sock;}static  void  Usage( const char  *proc){printf("Usage: %s  [ip_addr] [port]\n",proc);}int main(int argc ,char *argv[]){if(argc != 3){Usage(argv[0]);return 8;}int listen_sock  = startup(argv[1],atoi(argv[2]));//建立epoll模型int epollfd  =epoll_create(256);//对epoll模型进行管理struct  epoll_event event;set_nonblock(listen_sock);event.events = EPOLLIN|EPOLLET;event.data.ptr = alloc_buf(listen_sock);epoll_ctl(epollfd,EPOLL_CTL_ADD,listen_sock,&event);int maxsize = 64;int timeout = -1;char buf[1024];while(1){int n = 0 ;struct epoll_event ev[maxsize];switch(n = epoll_wait(epollfd,ev,maxsize,timeout)){case 0:printf("timeout ..\n");break;case -1:perror("epoll");break;default:{//at  least one ev  ready;int i = 0 ;for(;i < n;++i){epoll_buf_p ptr =(epoll_buf_p)ev[i].data.ptr;int fd = ptr->fd;//表示的是监听套接字if(fd == listen_sock&&ev[i].events&EPOLLIN){myaccept(listen_sock,epollfd);}else if(fd != listen_sock){//表示的是 读事件就绪char * buf = ptr->buf;if(ev[i].events & EPOLLIN){//read ev  ready;ssize_t  s =myread(fd,buf);if(s < 0 ){perror("read");free(ev[i].data.ptr);epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);close(fd);return 1;}else if(s == 0){printf("client quit\n");//释放动态开辟的空间free(ev[i].data.ptr);epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);close(fd);}else{buf[s] =0;event.data.ptr = ptr;event.events = EPOLLOUT|EPOLLET;epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);printf("client#:%s\n",buf);}}//表示的是写事件就绪if(ev[i].events&EPOLLOUT){//write ev ready;const  char  * msg = "HTTP/1.0 200 OK\r\n\r\n<html><h1>Hello Epoll!</h1></html>";ssize_t s = write(fd,msg,strlen(msg));if(s < 0){free(ev[i].data.ptr);epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);close(fd);return 2;}event.events = EPOLLIN;event.data.ptr = ptr;epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);//printf("server#:");//printf("server#:");//fflush(stdout);//ssize_t  s = myread(0,buf);//if(s <=0)//{//perror("read");//close(fd);//free(ev[i].data.ptr);//epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,NULL);//return  1;//}//else//{//buf[s-1] =0 ;//mywrite(fd,buf,s-1);//event.events = EPOLLIN|EPOLLET;//event.data.ptr=  ptr;//epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&event);//}}}}}break;}}return  0;}