linux tcp连接的限制和epoll介绍例子

一般linux下TCP连接的限制在TD_SETSIZE，系统默认为1024,由FD_SETSIZE决定。

1.修改方法：
 修改/usr/etc/security/limits.conf文件，加入
   *soft nofile 20000
   *hard nofile 20000
 然后reboot系统。/
服务器就可以建立连接到20000个了，其连接方法是直接用connect，accept，注意这里用select是不可以的。

linux下, 单个进程默认打开的最多socket是1021个, 其实是1024, 其它三个分别被: stderr, stdin, stdout占用.
要突破1024的限制, 需要改如下三个文件:
1. /etc/init.d/ssh
添加: ulimit -HSn 65536
2. /etc/init.d/cron
添加: ulimit -HSn 65536
3. /etc/security/limits.conf
添加: * hard nofile 65536
查看方法:
ulimit -a , 看 open files数目是不是已经修改成65536
需要重连ssh

2.上面的方法在不用select方法的情况下是   可以的，如果你用select，那么仍然只能打开1024个，这是因为select的数目由FD_SETSIZE决定的。那么我们可以改用poll来替代select，poll数组大小可以根据我们自己的需要来定义，这样就解决了这个问题。

3.linux中的是通过文件方式来管理系统的，因此系统能承载多少TCP连接和系统文件打开数目能力是相关的。
另外在/proc/sys/file-max中定义了，系统最多能够打开的文件数目。

附代码：
服务器端：pollserver.cpp
#include <iostream>
#include <ctype.h>
#include <errno.h>
#include <signal.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <sys/file.h>
#include <sys/ioctl.h>
#include <sys/wait.h>
#include <sys/types.h>
//#include <asm/poll.h>
#include <netdb.h>
#include <unistd.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <string>
#include <sys/poll.h>
#include <limits.h>
#define LPORT 3333
#define LISTENQ 1024
#define OPEN_MAX 50000
#define MAX_LINE 100
void setnonblocking(int sock)
{
int opts;
opts=fcntl(sock,F_GETFL);
if(opts<0)
{
 perror("fcntl(sock,GETFL)");
 exit(1);
}
opts = opts|O_NONBLOCK;
if(fcntl(sock,F_SETFL,opts)<0)
{
 perror("fcntl(sock,SETFL,opts)");
 exit(1);
}   
}
int main(int argc, char **argv)
{
//int i, maxi, listenfd, connfd, sockfd;
//int nready; ssize_t n;

int listenfd;
struct sockaddr_in cliaddr;  //客户端的sock描述
struct sockaddr_in servaddr; //服务器的sock描述

struct pollfd *array_conn;
array_conn =  new pollfd[OPEN_MAX];
if ((listenfd = socket(AF_INET, SOCK_STREAM, 0)) == -1)
{
 perror("socket create error!");
 exit(1);
}
bzero(&servaddr, sizeof(servaddr));
servaddr.sin_family = AF_INET;
servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
servaddr.sin_port = htons(LPORT);

  }
 }
}
}
客户端pollclient.cpp
#include <sys/types.h>
#include <sys/socket.h>
#include <stdio.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <unistd.h>
int main()
{
int sockfd;
int address_len;
int connect_flag;
struct sockaddr_in address;
int connect_result;
char client_ch,server_ch;
int *sock;
sock= new int [50000];
int index=0;
int n=0;
int ssock;
address.sin_family=AF_INET;
address.sin_addr.s_addr=inet_addr("192.168.1.249");
address.sin_port=htons(3333);
address_len=sizeof(address);
while(1)
{
 ssock=socket(AF_INET,SOCK_STREAM,0);
 if(ssock<0)
 {
  printf("local sockfd error n");
  break;
 }

 connect_flag=connect(ssock,(struct sockaddr *)&address,address_len);
 if(connect_flag==-1)
 {
  perror("client");
  break;
 }
 printf("%d Connected! ",n++);
 char cch[10];
 sprintf(cch,"Ping*");
 write(ssock,cch,10);
 char rbuf[100];
 read(ssock,rbuf,100);
 printf( "%d Receive from server ;%s n",n,rbuf);
 //char c_ch;
 //c_ch='*';
 //write(ssock,&c_ch,1);
 //char rbuf[100];
 //read(ssock,rbuf,100);
 //printf( "%d Receive from server ;%s n",n,rbuf);
}
delete [] sock;
return 0;
}
tagore  2006/11/17 10:24
该测试程序说poll 程序可以避开FD_SETSIZE 为1024的限制，经过测试在redhat 9.0下是不成立的。该测试程序创建1200个socket以后就失败了
我耍了个小花样，在测试程序（client和server）加上
#define FD_SETSIZE 4096
编译的过程虽然会报warning （别把warning强制成error），但这个时候测试程序可以正常建立4000个以上socket，当然正式程序中大家可以grep 一下相关头文件（印象中posix thread等几个头文件里面都有这个定义，通通改了）

纠正一下上面的一个错误: ulimit -n xxxx是起作用的。
最后总结一下，要使socket能够支持1024以上的个数，分两步走：
 1  修改进程最大打开文件数目 ulimit -n 20000
 2  重新定义FD_SETSIZE   #define FD_SETSIZE
一切ok。
tagore  2006/11/17 10:50
还有一个牛哥哥发表了这么一种方式，没有经过测试：

现在多连接可以使用Epoll技术.
在1G内存的机子上可以连接到10万.
我贴上一个Epoll得例子,看看先.

epoll用到的所有函数都是在头文件sys/epoll.h中声明的，下面简要说明所用到的数据结构和函数：
所用到的数据结构
typedef union epoll_data
{
void *ptr;
int fd;
__uint32_t u32;
__uint64_t u64;
} epoll_data_t;

struct epoll_event
{
__uint32_t events;
};
结构体epoll_event 被用于注册所感兴趣的事件和回传所发生待处理的事件，其中epoll_data 联合
体用来保存触发事件的某个文件描述符相关的数据，例如一个client连接到服务器，服务器通过调用
accept函数可以得到于这个client对应的socket文件描述符，可以把这文件描述符赋给epoll_data的
fd字段以便后面的读写操作在这个文件描述符上进行。epoll_event 结构体的events字段是表示感兴
趣的事件和被触发的事件可能的取值为：
epollin ：表示对应的文件描述符可以读；
epollout：表示对应的文件描述符可以写；
epollpri：表示对应的文件描述符有紧急的数据可读（我不太明白是什么意思，可能是类似client关闭 socket连接这样的事件）；
epollerr：表示对应的文件描述符发生错误；
epollhup：表示对应的文件描述符被挂断；
epollet：表示对应的文件描述符有事件发生；
所用到的函数：
1、epoll_create函数
函数声明：int epoll_create(int size)
该函数生成一个epoll专用的文件描述符，其中的参数是指定生成描述符的最大范围（我觉得这个参数和select函数的第
一个参数应该是类似的但是该怎么设置才好，我也不太清楚）。
2、epoll_ctl函数
函数声明：int epoll_ctl(int epfd， int op， int fd， struct epoll_event *event)
该函数用于控制某个文件描述符上的事件，可以注册事件，修改事件，删除事件。
参数：epfd：由 epoll_create 生成的epoll专用的文件描述符；
op：要进行的操作例如注册事件，可能的取值epoll_ctl_add 注册、epoll_ctl_mod 修改、epoll_ctl_del 删除
fd：关联的文件描述符；
event：指向epoll_event的指针；
如果调用成功返回0，不成功返回-1
3、epoll_wait函数
函数声明:int epoll_wait(int epfd，struct epoll_event * events，int maxevents，int timeout)
该函数用于轮询i/o事件的发生；
参数：
epfd:由epoll_create 生成的epoll专用的文件描述符；
epoll_event:用于回传代处理事件的数组；
maxevents:每次能处理的事件数；
timeout:等待i/o事件发生的超时值；
返回发生事件数。
例子：
代码:
#include <iostream>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>

#define maxline 10
#define open_max 100
#define listenq 20
#define serv_port 5555
#define inftim 1000

void setnonblocking(int sock)
{
int opts;
opts=fcntl(sock，f_getfl);
if(opts<0)
{
perror("fcntl(sock，getfl)");
exit(1);
}

opts = opts|o_nonblock;

if(fcntl(sock，f_setfl，opts)<0)
{
perror("fcntl(sock，setfl，opts)");
exit(1);
}
}

int main()
{
int i， maxi， listenfd， connfd， sockfd，epfd，nfds;
ssize_t n;
char line[maxline];
socklen_t clilen;
//声明epoll_event结构体的变量，ev用于注册事件，数组用于回传要处理的事件
struct epoll_event ev，events[20];

//生成用于处理accept的epoll专用的文件描述符
epfd=epoll_create(256);
struct sockaddr_in clientaddr;
struct sockaddr_in serveraddr;
listenfd = socket(af_inet， sock_stream， 0);

//把socket设置为非阻塞方式
setnonblocking(listenfd);

//设置与要处理的事件相关的文件描述符
ev.data.fd=listenfd;

//设置要处理的事件类型
ev.events=epollin|epollet;

//注册epoll事件
epoll_ctl(epfd，epoll_ctl_add，listenfd，&ev);

bzero(&serveraddr， sizeof(serveraddr));
serveraddr.sin_family = af_inet;
char *local_addr="200.200.200.204";
inet_aton(local_addr，&(serveraddr.sin_addr));//htons(serv_port);
serveraddr.sin_port=htons(serv_port);
bind(listenfd，(sockaddr *)&serveraddr， sizeof(serveraddr));
listen(listenfd， listenq);
maxi = 0;
for ( ; ; )
{
//等待epoll事件的发生
nfds=epoll_wait(epfd，events，20，500);
//处理所发生的所有事件
for(i=0;i<nfds;++i)
{
if(events[i].data.fd==listenfd)
{
connfd = accept(listenfd，(sockaddr *)&clientaddr， &clilen);
if(connfd<0)
{
perror("connfd<0");
exit(1);
}
}
setnonblocking(connfd);
char *str = inet_ntoa(clientaddr.sin_addr);
std::cout<<"connect from "<_u115 ?tr<<std::endl;
//设置用于读操作的文件描述符
ev.data.fd=connfd;
//设置用于注测的读操作事件
ev.events=epollin|epollet;
//注册ev
epoll_ctl(epfd，epoll_ctl_add，connfd，&ev);
}
else if(events[i].events&epollin)
{
if ( (sockfd = events[i].data.fd) < 0) continue;
if ( (n = read(sockfd， line， maxline)) < 0)
{
if (errno == econnreset)
{
close(sockfd);
events[i].data.fd = -1;
}
else
std::cout<<"readline error"<<std::endl;
}
else if (n == 0)
{
close(sockfd);
events[i].data.fd = -1;
}
//设置用于写操作的文件描述符
ev.data.fd=sockfd;
//设置用于注测的写操作事件
ev.events=epollout|epollet;
//修改sockfd上要处理的事件为epollout
epoll_ctl(epfd，epoll_ctl_mod，sockfd，&ev);
}
else if(events[i].events&epollout)
{
sockfd = events[i].data.fd;
write(sockfd， line， n);
//设置用于读操作的文件描述符
ev.data.fd=sockfd;
//设置用于注测的读操作事件
ev.events=epollin|epollet;
//修改sockfd上要处理的事件为epolin
epoll_ctl(epfd，epoll_ctl_mod，sockfd，&ev);
}
}
}
}