网络编程--服务器编程模型

本文通过一个简单的例子，介绍网络服务器编程模型
服务器接受客户端连接请求，回显客户端发过来的数据，发送当前时间给客户端

所有源码可打包下载：
http://download.csdn.net/detail/yfkiss/4318990

客户端请求相关代码：

[cpp] view plaincopy

1. //和服务器建立连接  
2. if(connect(sockfd,(struct sockaddr *)&their_addr,sizeof(struct sockaddr))==-1)  
3. {  
4.         perror("connect");  
5.         exit(1);  
6. }  
7.   
8. //向服务器发送请求  
9. if(send(sockfd,buf,strlen(buf),0)==-1)  
10. {  
11.         perror("send");  
12.         exit(1);  
13. }  
14. memset(buf,0,sizeof(buf));  
15.   
16. //接受从服务器返回的信息  
17. if((numbytes = recv(sockfd,buf,100,0))==-1)  
18. {  
19.         perror("recv");  
20.         exit(1);  
21. }  
22. else  
23. {  
24.         printf("Time: %s\n", buf);  
25. }  

简单服务器模型

服务器进程接受连接，处理请求，然后等待下一个连接，如图：

核心代码：

[cpp] view plaincopy

1.        //等待连接  
2. while(1)   
3. {  
4.     struct sockaddr cliaddr;  
5.     sin_size = sizeof(struct sockaddr);  
6.       
7.     //接受连接  
8.     if((new_fd = accept(sockfd, (struct sockaddr *)&cliaddr, (socklen_t*)&sin_size))==-1)  
9.     {  
10.         perror("accept");  
11.         return -1;  
12.     }  
13.   
14.     char hbuf[NI_MAXHOST], sbuf[NI_MAXSERV];  
15.     getnameinfo(&cliaddr, sizeof(cliaddr), hbuf, sizeof hbuf, sbuf, sizeof sbuf, NI_NUMERICHOST | NI_NUMERICSERV);    
16.     printf("Accepted connection: host=%s, port=%s\n", hbuf, sbuf);  
17.       
18.     //读取客户端发来的信息  
19.     memset(buff,0,sizeof(buff));  
20.     if((numbytes = recv(new_fd,buff,sizeof(buff),0))==-1)  
21.     {  
22.         perror("recv");  
23.         return -1;  
24.     }     
25.       
26.     //获取系统时间  
27.     time_t now = time(0);  
28.     sprintf(buff, "Server Time is : %s", ctime(&now));  
29.       
30.     //将从客户端接收到的信息再发回客户端  
31.     if(send(new_fd,buff,strlen(buff),0)==-1)  
32.     {  
33.         perror("send");  
34.     }  
35.   
36.     //关闭连接  
37.     close(new_fd);  
38. }  

多进程模型

服务器进程接受连接，fork一个子进程为客户服务，然后等待下一个连接。
多进程模型适用于单个客户服务需要消耗较多的 CPU 资源，例如需要进行大规模或长时间的数据运算或文件访问。多进程模型具有较好的安全性。
如图：

核心代码：

[cpp] view plaincopy

1.     //等待连接  
2.     while(1)   
3.     {  
4.         struct sockaddr cliaddr;  
5.         sin_size = sizeof(struct sockaddr);  
6.           
7.         //接受连接  
8.         if((new_fd = accept(sockfd, (struct sockaddr *)&cliaddr, (socklen_t*)&sin_size))==-1)  
9.         {  
10.             perror("accept");  
11.             return -1;  
12.         }  
13.   
14.         char hbuf[NI_MAXHOST], sbuf[NI_MAXSERV];  
15.         getnameinfo(&cliaddr, sizeof(cliaddr), hbuf, sizeof hbuf, sbuf, sizeof sbuf, NI_NUMERICHOST | NI_NUMERICSERV);    
16.         printf("Accepted connection: host=%s, port=%s\n", hbuf, sbuf);  
17.       
18.                 //fork子进程处理请求  
19.         if(!fork())  
20.         {  
21.             process(new_fd);  
22.               
23.             //关闭连接  
24.             close(new_fd);  
25.             return 0;  
26.         }  
27.       
28.     }  
29.     close(sockfd);  
30. }  

多线程模型

和多进程模型类似，服务器进程接受连接，新建一个线程为客户服务，然后等待下一个连接
和多进程相比，由于进程消耗的资源比线程大的多，因此，在需要为较多客户端服务的时候，优先使用多线程。
如图：

代码：

[cpp] view plaincopy

1. void* process(void* arg)  
2. {  
3.     int new_fd = *(int*)arg;  
4.     char buff[1024];  
5.     int numbytes;  
6.       
7.     //读取客户端发来的信息  
8.     memset(buff,0,sizeof(buff));  
9.     if((numbytes = recv(new_fd,buff,sizeof(buff),0))==-1)  
10.     {  
11.         perror("recv");  
12.         return NULL;  
13.     }  
14.           
15.           
16.     //获取系统时间  
17.     time_t now = time(0);  
18.     sprintf(buff, "Server Time is : %s", ctime(&now));  
19.       
20.     //将从客户端接收到的信息再发回客户端  
21.     if(send(new_fd,buff,strlen(buff),0)==-1)  
22.     {  
23.         perror("send");  
24.         return NULL;  
25.     }  
26.       
27.     close(new_fd);  
28.         pthread_exit(NULL);  
29.     return NULL;  
30. }  
31.       
32. int main()  
33. {  
34.     ......  
35.       
36.     //等待连接  
37.     while(1)   
38.     {  
39.         struct sockaddr cliaddr;  
40.         sin_size = sizeof(struct sockaddr);  
41.           
42.         //接受连接  
43.         if((new_fd = accept(sockfd, (struct sockaddr *)&cliaddr, (socklen_t*)&sin_size))==-1)  
44.         {  
45.             perror("accept");  
46.             return -1;  
47.         }  
48.   
49.         char hbuf[NI_MAXHOST], sbuf[NI_MAXSERV];  
50.         getnameinfo(&cliaddr, sizeof(cliaddr), hbuf, sizeof hbuf, sbuf, sizeof sbuf, NI_NUMERICHOST | NI_NUMERICSERV);    
51.         printf("Accepted connection: host=%s, port=%s\n", hbuf, sbuf);  
52.       
53.                 //创建新线程为客户端服务  
54.         if((pthread_create(&thread, NULL, process, (void*)(&new_fd))))  
55.         {  
56.             perror("pthread_create error");           
57.             return 0;  
58.         }  
59.     }  
60.     close(sockfd);  
61. }  

事件驱动模型

多线程模型通过将连接与线程绑定的方式，较好的解决了同一时刻为多个客户提供请求的要求，但是，如果客户请求数成千上万，即使是线程，服务器也无法承受庞大的资源消耗。当然，我们可以通过使用线程池来控制线程数量，减少资源开销，但是，面对大的服务压力，池本身无法增加承载能力。
事件驱动模型使用IO复用（参考网络编程--IO模型示例），在每一个执行周期都会探测一次或一组事件，一个特定的事件会触发某个特定的响应。
相比其他模型，事件驱动模型优点是只用单线程执行，占用资源少，不消耗太多 CPU，同时能够为多客户端提供服务。缺点是程序逻辑复杂，编程复杂性较高。
如图：

核心代码：

[cpp] view plaincopy

1. #define MAX_EVENTS 1024   
2.   
3. struct myevent_s     
4. {     
5.     int fd;     
6.     void (*call_back)(int fd, int events, void *arg);     
7.     int events;     
8.     void *arg;     
9.     int status; // 1: in epoll wait list, 0 not in     
10.     char buff[128]; // recv data buffer    
11.     int len;    
12.     long last_active; // last active time     
13. };     
14.   
15. int g_epollFd;     
16. myevent_s g_Events[MAX_EVENTS+1]; // g_Events[MAX_EVENTS] is used by listen fd     
17. void RecvData(int fd, int events, void *arg);     
18. void SendData(int fd, int events, void *arg);  
19.   
20. // set event     
21. void EventSet(myevent_s *ev, int fd, void (*call_back)(int, int, void*), void *arg)     
22. {     
23.     ev->fd = fd;     
24.     ev->call_back = call_back;     
25.     ev->events = 0;     
26.     ev->arg = arg;     
27.     ev->status = 0;     
28.     ev->len = 0;  
29.     ev->last_active = time(NULL);     
30. }     
31.   
32. // add/mod an event to epoll     
33. void EventAdd(int epollFd, int events, myevent_s *ev)     
34. {     
35.     struct epoll_event epv = {0, {0}};     
36.     int op;     
37.     epv.data.ptr = ev;     
38.     epv.events = ev->events = events;     
39.     if(ev->status == 1){     
40.         op = EPOLL_CTL_MOD;     
41.     }     
42.     else{     
43.         op = EPOLL_CTL_ADD;     
44.         ev->status = 1;     
45.     }     
46.     if(epoll_ctl(epollFd, op, ev->fd, &epv) < 0)     
47.         printf("Event Add failed[fd=%d]\n", ev->fd);     
48.     else    
49.         printf("Event Add OK[fd=%d]\n", ev->fd);     
50. }     
51.   
52. // delete an event from epoll     
53. void EventDel(int epollFd, myevent_s *ev)     
54. {     
55.     struct epoll_event epv = {0, {0}};     
56.     if(ev->status != 1) return;     
57.     epv.data.ptr = ev;     
58.     ev->status = 0;     
59.     epoll_ctl(epollFd, EPOLL_CTL_DEL, ev->fd, &epv);     
60. }    
61.       
62. // accept new connections from clients     
63. void AcceptConn(int fd, int events, void *arg)     
64. {     
65.     struct sockaddr_in sin;     
66.     socklen_t len = sizeof(struct sockaddr_in);     
67.     int nfd, i;     
68.     // accept     
69.     if((nfd = accept(fd, (struct sockaddr*)&sin, &len)) == -1)     
70.     {     
71.         if(errno != EAGAIN && errno != EINTR)     
72.         {     
73.             printf("%s: bad accept", __func__);     
74.         }     
75.         return;     
76.     }     
77.     do    
78.     {     
79.         for(i = 0; i < MAX_EVENTS; i++)     
80.         {     
81.             if(g_Events[i].status == 0)     
82.             {     
83.                 break;     
84.             }     
85.         }     
86.         if(i == MAX_EVENTS)     
87.         {     
88.             printf("%s:max connection limit[%d].", __func__, MAX_EVENTS);     
89.             break;     
90.         }     
91.         // set nonblocking     
92.         if(fcntl(nfd, F_SETFL, O_NONBLOCK) < 0) break;     
93.         // add a read event for receive data     
94.         EventSet(&g_Events[i], nfd, RecvData, &g_Events[i]);     
95.         EventAdd(g_epollFd, EPOLLIN|EPOLLET, &g_Events[i]);     
96.         printf("new conn[%s:%d][time:%d]\n", inet_ntoa(sin.sin_addr), ntohs(sin.sin_port), g_Events[i].last_active);     
97.     }while(0);     
98. }     
99.   
100. // receive data     
101. void RecvData(int fd, int events, void *arg)     
102. {     
103.     struct myevent_s *ev = (struct myevent_s*)arg;     
104.     int len;     
105.     // receive data     
106.     len = recv(fd, ev->buff, sizeof(ev->buff)-1, 0);       
107.     EventDel(g_epollFd, ev);     
108.     if(len > 0)     
109.     {     
110.         ev->len = len;     
111.         ev->buff[len] = '\0';     
112.         printf("C[%d]:%s\n", fd, ev->buff);     
113.         // change to send event     
114.         EventSet(ev, fd, SendData, ev);     
115.         EventAdd(g_epollFd, EPOLLOUT|EPOLLET, ev);     
116.     }     
117.     else if(len == 0)     
118.     {     
119.         close(ev->fd);     
120.         printf("[fd=%d] closed gracefully.\n", fd);     
121.     }     
122.     else    
123.     {     
124.         close(ev->fd);     
125.         printf("recv[fd=%d] error[%d]:%s\n", fd, errno, strerror(errno));     
126.     }     
127. }    
128.    
129. // send data     
130. void SendData(int fd, int events, void *arg)     
131. {     
132.     struct myevent_s *ev = (struct myevent_s*)arg;     
133.     int len;    
134.       
135.     time_t now = time(0);  
136.     sprintf(ev->buff, "Server Time is : %s", ctime(&now));   
137.     // send data     
138.     len = send(fd, ev->buff, strlen(ev->buff), 0);     
139.     ev->len = 0;     
140.     EventDel(g_epollFd, ev);     
141.     if(len > 0)     
142.     {     
143.         // change to receive event     
144.         EventSet(ev, fd, RecvData, ev);     
145.         EventAdd(g_epollFd, EPOLLIN|EPOLLET, ev);     
146.     }     
147.     else    
148.     {     
149.         close(ev->fd);     
150.         printf("recv[fd=%d] error[%d]\n", fd, errno);     
151.     }     
152. }     
153. void InitListenSocket(int epollFd, short port)     
154. {     
155.     int listenFd = socket(AF_INET, SOCK_STREAM, 0);     
156.     fcntl(listenFd, F_SETFL, O_NONBLOCK); // set non-blocking     
157.     printf("server listen fd=%d\n", listenFd);     
158.     EventSet(&g_Events[MAX_EVENTS], listenFd, AcceptConn, &g_Events[MAX_EVENTS]);     
159.     // add listen socket     
160.     EventAdd(epollFd, EPOLLIN|EPOLLET, &g_Events[MAX_EVENTS]);     
161.     // bind & listen     
162.     sockaddr_in sin;     
163.     bzero(&sin, sizeof(sin));     
164.     sin.sin_family = AF_INET;     
165.     sin.sin_addr.s_addr = INADDR_ANY;     
166.     sin.sin_port = htons(port);     
167.     bind(listenFd, (const sockaddr*)&sin, sizeof(sin));     
168.     listen(listenFd, 5);     
169. }     
170.   
171. int main(int argc, char **argv)     
172. {     
173.     short port = 7092; // default port     
174.       
175.     // create epoll     
176.     g_epollFd = epoll_create(MAX_EVENTS);     
177.     if(g_epollFd <= 0) printf("create epoll failed.%d\n", g_epollFd);     
178.           
179.     // create & bind listen socket, and add to epoll, set non-blocking     
180.     InitListenSocket(g_epollFd, port);    
181.        
182.     // event loop     
183.     struct epoll_event events[MAX_EVENTS];     
184.     printf("server running:port[%d]\n", port);   
185.         
186.     int checkPos = 0;     
187.     while(1){     
188.         // a simple timeout check here, every time 100, better to use a mini-heap, and add timer event     
189.         long now = time(NULL);     
190.         for(int i = 0; i < 100; i++, checkPos++) // doesn't check listen fd     
191.         {     
192.             if(checkPos == MAX_EVENTS) checkPos = 0; // recycle     
193.             if(g_Events[checkPos].status != 1) continue;     
194.             long duration = now - g_Events[checkPos].last_active;     
195.             if(duration >= 60) // 60s timeout     
196.             {     
197.                 close(g_Events[checkPos].fd);     
198.                 printf("[fd=%d] timeout[%d--%d].\n", g_Events[checkPos].fd, g_Events[checkPos].last_active, now);     
199.                 EventDel(g_epollFd, &g_Events[checkPos]);     
200.             }     
201.         }     
202.         // wait for events to happen     
203.         int fds = epoll_wait(g_epollFd, events, MAX_EVENTS, 1000);     
204.         if(fds < 0){     
205.             printf("epoll_wait error, exit\n");     
206.             break;     
207.         }     
208.         for(int i = 0; i < fds; i++){     
209.             myevent_s *ev = (struct myevent_s*)events[i].data.ptr;     
210.             if((events[i].events&EPOLLIN)&&(ev->events&EPOLLIN)) // read event     
211.             {     
212.                 ev->call_back(ev->fd, events[i].events, ev->arg);     
213.             }     
214.             if((events[i].events&EPOLLOUT)&&(ev->events&EPOLLOUT)) // write event     
215.             {     
216.                 ev->call_back(ev->fd, events[i].events, ev->arg);     
217.             }     
218.         }     
219.     }     
220.     // free resource     
221.     return 0;     
222. }     

总结：

多进程和多线程适用于小规模，长连接的场景
事件驱动适用于大规模、IO密集、大量慢连接、短连接的场景

reference：
Beyond Apache: Fater Web Servers
高性能并发Web服务器实现核心内幕
使用事件驱动模型实现高效稳定的网络服务器程序
Linux Epoll介绍和程序实例