java.net.SocketException: Too many open files解决方法

来源:互联网 发布:第三方java 线程池 编辑:程序博客网 时间:2024/06/06 00:02

Linux下面部署应用的时候,有时候会遇上Socket/File: Can’t open so many files的问题,当文件打开数到900多时速能就非常快的下降,有可能打不开网页.

其实Linux是有文件句柄限制的,而且Linux默认不是很高,一般都是1024,生产服务器用其实很容易就达到这个数量.

查看方法

我们可以用ulimit -a来查看所有限制值

[root@centos5 ~]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
max nice                        (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 4096
max locked memory       (kbytes, -l) 32
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
max rt priority                 (-r) 0
stack size              (kbytes, -s) 10240
cpu time               (seconds, -t) unlimited
max user processes              (-u) 4096
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited||<

其中 "open files (-n) 1024 "Linux操作系统对一个进程打开的文件句柄数量的限制(也包含打开的SOCKET数量,可影响MySQL的并发连接数目).这个值可用ulimit 命令来修改,ulimit命令修改的数值只对当前登录用户的目前使用环境有效,系统重启或者用户退出后就会失效.

系统总限制是在这里,/proc/sys/fs/file-max.可以通过cat查看目前的值,修改/etc/sysctl.conf 中也可以控制.

另外还有一个,/proc/sys/fs/file-nr,可以看到整个系统目前使用的文件句柄数量

查找文件句柄问题的时候,还有一个很实用的程序lsof.可以很方便看到某个进程开了那些句柄.也可以看到某个文件/目录被什么进程占用了.

修改方法
若要令修改ulimits的数值永久生效,则必须修改配置文档,可以给ulimit修改命令放入/etc/profile里面,这个方法实在是不方便,还 有一个方法是修改/etc/sysctl.conf .我修改了,测试过,但对用户的ulimits -a 是不会改变的。只是/proc/sys/fs/file-max的值变了.(我给命令放到rc.local中失败)

我认为正确的做法,应该是修改/etc/security/limits.conf
里面有很详细的注释,比如:

* soft nofile 32768
* hard nofile 65536

也可以直接运行下面这个shell。直接copy到你的终端中运行就好了.
echo -ne "
* soft nofile 65536
* hard nofile 65536
" >>/etc/security/limits.conf

就可以将文件句柄限制统一改成软32768,硬65536.配置文件最前面的是指domain,设置为星号代表全局,另外你也可以针对不同的用户做出不同的限制

注意.这个当中的硬限制是实际的限制,而软限制,是warnning限制,只会做出warning.其实ulimit命令本身就有分软硬设置,加-H就是硬,加-S就是软
默认显示的是软限制,如果运行ulimit命令修改的时候没有加上的话,就是两个参数一起改变.

生效

修改完重新登录就可以见到.(我的系统是Centos5.1.修改了,重新登录后就立刻生效.可以用ulimit -a 查看确认.)

limits.conf的工作原理
  limits.conf的后端是这样工作的:limits.confpam_limits.so的配置文件,然后/etc/pam.d/下的应用程 序调用pam_***.so模块。譬如说,当用户访问服务器,服务程序将请求发送到PAM模块,PAM模块根据服务名称在/etc/pam.d目录下选择 一个对应的服务文件,然后根据服务文件的内容选择具体的PAM模块进行处理。
  例:限制admin用户登录到sshd的服务不能超过2
  在/etc/pam.d/sshd 中添加 session required pam_limits.so
  在/etc/security/limits.conf中添加 admin - maxlogins 2
  查看应用程序能否被PAM支持,用ldd
  limits.conf文件的参数
  Limits.conf文件的参数可以设置成以下两种形式之一:
  暂时地,适用于通过 ulimit 命令登录 shell 会话期间。
  永久地,通过将一个相应的 ulimit 语句添加到由登录 shell 读取的文件之一(例如 ~/.profile),即特定于 shell 的用户资源文件;或者通过编辑 /etc/security/limits.conf
  1.core - 限制内核文件的大小
  何谓core文件,当一个程序崩溃时,在进程当前工作目录的core文件中复制了该进程的存储图像。core文件仅仅是一个内存映象(同时加上调试信息),主要是用来调试的。 core文件是个二进制文件,需要用相应的工具来分析程序崩溃时的内存映像。
  系统默认core文件的大小为0,所以没有创建。可以用ulimit命令查看和修改core文件的大小。
  
  $ulimit -c
  0
  $ ulimit -c 1000
  $ ulimit -c
  1000
  -c 指定修改core文件的大小,1000指定了core文件大小。也可以对core文件的大小不做限制,如:
  
  # ulimit -c unlimited
  #ulimit -c
  unlimited
  如果想让修改永久生效,则需要修改配置文件,如 .bash_profile/etc/profile/etc/security/limits.conf
  2.nofile - 打开文件的最大数目
  对于需要做许多套接字连接并使它们处于打开状态的应用程序而言,最好通过使用 ulimit –n,或者通过设置nofile 参数,为用户把文件描述符的数量设置得比默认值高一些。

Linux proc 文件系统简介

/proc 文件系统是一个伪文件系统,它以文件系统的方式为用户访问系统内核数据提供接口。用户和应用程序可以通过 /proc 文件系统得到系统的信息,并可以通过 /proc 文件系统改变内核的某些信息。与普通文件不同的是,/proc 的内容都是动态创建的,它只存在于内存当中。

最初开发 /proc 文件系统是为了提供有关系统中进程的信息。但是由于这个文件系统非常有用,因此内核中的很多元素也开始使用它来报告信息,或启用动态运行时配置。

/proc 文件系统分为三大类:系统信息、进程相关、子系统。

开机自动加载Linux proc 文件系统

在 /etc/fstab 文件中加入如下一行使系统在启动时自动加载 /proc 文件系统(绝多数Linux发行版默认如此):

proc /proc proc defaults 0 0

当然你也可以手动加载:mount -t proc proc /proc

利用Linux proc 文件系统来读取系统信息

很多读取系统信息的程序都依赖于 /proc 文件系统,如果 /proc 文件系统不存在,它们将不可用或残缺,例如:lscpulsusblspci……ps
有些命令的输出的信息,可以通过直接读取 /proc 文件系统来获取。例如:Linux 查看硬件信息

系统信息

在 /proc 根目录下,这里的文件是只读的。

文 件

描 述

cmdline

内核启动参数

cpuinfo

cpu信息

iomem

io设备的内存使用信息

interrupts

显示被占用的中断信息和占用者的信息

ioports

I/O端口的使用

kcore

系统物理内存映像,不可读取

loadavg

系统平均负载

meminfo

物理内存和交换分区使用信息

modules

加载模块列表

mounts

挂载的文件系统

partitions

系统识别的分区表

swaps

交换空间的利用情况

version

内核版本信息

uptime

系统运行时间

进程相关

在 /proc 目录下以数字为名的子目录都是存储和进程相关的信息,这些数字就是相关进程的进程ID,这里的文件也是只读的。
还有一个特殊的 /proc/self 目录, 它是指向当前执行进程的符号连接。例如你执行:cat /proc/self/cmdline,将返回命令本身,但会忽略空格。

文 件

描 述

cmdline

进程启动参数

environ

环境变量

limits

进程限制信息

status

进程状态

maps

进程使用的动态链接库文件

内核子系统的参数

如调整内核文件限制,开启IP数据包转发……这些文件都在 /proc/sys/ 目录下,有的可以改变,有的是只读。

文件系统参数

fs/file-max

可以分配的文件句柄的最大数目

fs/file-nr

已分配文件句柄的数目、已使用文件句柄的数目、文件句柄的最大数目。只读

fs/inode-*

与索引节点相关的

内核相关

kernel/ctrl-alt-del

控制系统在接收到 ctrl+alt+delete 按键组合时如何反应。

kernel/domainname

您配置网络域名

kernel/hostname

您配置网络主机名

kernel/msgmax

该文件指定了从一个进程发送到另一个进程的消息的最大长度。

kernel/msgmnb

该文件指定在一个消息队列中最大的字节数。

kernel/msgmni

该文件指定消息队列标识的最大数目。

kernel/threads-max

该文件指定内核所能使用的线程的最大数目。

网络子系统

net/core/message_burst

写新的警告消息所需的时间,以 1/10 秒为单位,在这个时间内所接收到的警告消息会被丢弃。

net/core/netdev_max_backlog

该文件指定了,在接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。

net/core/optmem_max

该文件指定了每个套接字所允许的最大缓冲区的大小。

net/core/rmem_default

该文件指定了接收套接字缓冲区大小的缺省值(以字节为单位)。

net/core/rmem_max

该文件指定了接收套接字缓冲区大小的最大值(以字节为单位)。

net/core/wmem_default

该文件指定了发送套接字缓冲区大小的缺省值(以字节为单位)。

net/core/wmem_max

该文件指定了发送套接字缓冲区大小的最大值(以字节为单位)。

net/ipv4/*

IPv4相关,参阅文件 

/usr/src/linux/Documentation/networking/ip-sysctl.txt

net/ipv6/*

IPv6相关

net/ipv4/ip_forward

转发IPv4数据包

net/ipv4/ip_default_ttl

修改IPv4默认的TTL

net/ipv4/ip_no_pmtu_disc

关闭IPv4路径MTU探测,默认值为FALSE

net/ipv4/tcp_syn_retries

对于一个新建连接,IPv4子系统要发送多少个SYN连接请求才决定放弃。

net/ipv4/tcp_synack_retries

对于远端的连接请求SYNIPv4子系统会发送SYNACK数据报,以确认收到上一个SYN连接请求包。这里决定内核在放弃连接之前所送出的 SYN+ACK 数目。

sys/net/ipv4/tcp_syncookies

设置IPv4子系统是否打开SYN Cookie功能,该功能可以防止部分SYN攻击。

sys/net/ipv4/ipfrag_high_thresh

设置IPv4分片汇聚的最大内存用量。

sys/net/ipv4/ipfrag_time

设置IPv4分片在内存保存时间。

sys/net/ipv4/icmp_echo_ignore_all

设置为0IPv4子系统将忽略所有发送给自己的ICMP echo请求。

sysctl 命令和 /etc/sysctl.conf

sysctl 命令是用来读取和修改内核子系统的。
语法:sysctl dir1.dir2.file,表示操作 /proc/sys/dir1/dir2/file 文件。

实例:
#sysctl -a 读取所有设置
#sysctl net.ipv4 读取 /proc/sys/net/ipv4/ 目录下的设置
#sysctl net.ipv4.ip_forward 读取 ip_forward 设置
#sysctl net.ipv4.ip_forward=1 修改 ip_forward 设置为1

sysctl 命令的设置只能临时修改,要永久生效还要把这些设置加入 /etc/sysctl.conf 文件。

实例:
#vim sysctl.conf
net.ipv4.ip_forward=1
这样才永久生效。
#sysctl -p /etc/sysctl.conf文件的设置立即生效。




原创粉丝点击