5.shell编程(5) --- 文件描述符

1. 概述

在Linux系统中一切皆可以看成是文件，文件又可分为：普通文件、目录文件、链接文件和设备文件。文件描述符（file descriptor）是内核为了高效管理已被打开的文件所创建的索引，其是一个非负整数（通常是小整数），用于指代被打开的文件，所有执行I/O操作的系统调用都通过文件描述符。程序刚刚启动的时候，0是标准输入，1是标准输出，2是标准错误。如果此时去打开一个新的文件，它的文件描述符会是3。POSIX标准要求每次打开文件时（含socket）必须使用当前进程中最小可用的文件描述符号码，因此，在网络通信过程中稍不注意就有可能造成串话。标准文件描述符图如下：

2. 文件描述限制

在编写文件操作的或者网络通信的软件时，初学者一般可能会遇到“Too many open files”的问题。这主要是因为文件描述符是系统的一个重要资源，虽然说系统内存有多少就可以打开多少的文件描述符，但是在实际实现过程中内核是会做相应的处理的，一般最大打开文件数会是系统内存的10%（以KB来计算）（称之为系统级限制），查看系统级别的最大打开文件数可以使用-- sysctl -a | grep fs.file-max命令查看。与此同时，内核为了不让某一个进程消耗掉所有的文件资源，其也会对单个进程最大打开文件数做默认值处理（称之为用户级限制），默认值一般是1024，使用ulimit -n命令可以查看。在Web服务器中，通过更改系统默认值文件描述符的最大值来优化服务器是最常见的方式之一，具体优化方式请查看

http://blog.csdn.net/kumu_linux/article/details/7877770

---

3. 文件描述符合打开文件之间的关系

每一个文件描述符会与一个打开文件相对应，同时，不同的文件描述符也会指向同一个文件。相同的文件可以被不同的进程打开也可以在同一个进程中被多次打开。系统为每一个进程维护了一个文件描述符表，该表的值都是从0开始的，所以在不同的进程中你会看到相同的文件描述符，这种情况下相同文件描述符有可能指向同一个文件，也有可能指向不同的文件。具体情况要具体分析，要理解具体其概况如何，需要查看由内核维护的3个数据结构。    1. 进程级的文件描述符表    2. 系统级的打开文件描述符表    3. 文件系统的i-node表进程级的描述符表的每一条目记录了单个文件描述符的相关信息。    1. 控制文件描述符操作的一组标志。（目前，此类标志仅定义了一个，即close-on-exec标志）    2. 对打开文件句柄的引用内核对所有打开的文件的文件维护有一个系统级的描述符表格（open file description table）。有时，也称之为打开文件表（open file table），并将表格中各条目称为打开文件句柄（open file handle）。一个打开文件句柄存储了与一个打开文件相关的全部信息，如下所示：    1. 当前文件偏移量（调用read()和write()时更新，或使用lseek()直接修改）    2. 打开文件时所使用的状态标识（即，open()的flags参数）    3. 文件访问模式（如调用open()时所设置的只读模式、只写模式或读写模式）    4. 与信号驱动相关的设置    5. 对该文件i-node对象的引用    6. 文件类型（例如：常规文件、套接字或FIFO）和访问权限    7. 一个指针，指向该文件所持有的锁列表    8. 文件的各种属性，包括文件大小以及与不同类型操作相关的时间戳

在进程A中，文件描述符1和30都指向了同一个打开的文件句柄（标号23）。这可能是通过调用dup()、dup2()、fcntl()或者对同一个文件多次调用了open()函数而形成的。    进程A的文件描述符2和进程B的文件描述符2都指向了同一个打开的文件句柄（标号73）。    这种情形可能是在调用fork()后出现的（即，进程A、B是父子进程关系），或者当某进程通过UNIX域套接字将一个打开的文件描述符传递给另一个进程时，    也会发生。再者是不同的进程独自去调用open函数打开了同一个文件，此时进程内部的描述符正好分配到与    其他进程打开该文件的描述符一样。    此外，进程A的描述符0和进程B的描述符3分别指向不同的打开文件句柄，    但这些句柄均指向i-node表的相同条目（1976），换言之，指向同一个文件。发生这种情况是因为每个进程各自对同一个文件发起了open()调用。    同一个进程两次打开同一个文件，也会发生类似情况。

4. 总结
1. 由于进程级文件描述符表的存在，不同的进程中会出现相同的文件描述符，它们可能指向同一个文件，也可能指向不同的文件
2. 两个不同的文件描述符，若指向同一个打开文件句柄，将共享同一文件偏移量。因此，如果通过其中一个文件描述符来修改文件偏移量（由调用read()、write()或lseek()所致），那么从另一个描述符中也会观察到变化，无论这两个文件描述符是否属于不同进程，还是同一个进程，情况都是如此。
3. 要获取和修改打开的文件标志（例如：O_APPEND、O_NONBLOCK和O_ASYNC），可执行fcntl()的F_GETFL和F_SETFL操作，其对作用域的约束与上一条颇为类似。
4. 文件描述符标志（即，close-on-exec）为进程和文件描述符所私有。对这一标志的修改将不会影响同一进程或不同进程中的其他文件描述符

---

文件描述符

---

当某个程序打开文件时，操作系统返回相应的文件描述符，程序为了处理该文件必须引用此描述符。所谓的文件描述符是一个低级的正整数。最前面的三个文件描述符（0，1，2）分别与标准输入（stdin），标准输出（stdout）和标准错误（stderr）对应。因此，函数 scanf() 使用 stdin，而函数 printf() 使用 stdout。你可以用不同的文件描述符改写默认的设置并重定向进程的 I/O 到不同的文件。

1、首先说什么是文件描述符，它有什么作用？

文件描述符是一个简单的整数，用以标明每一个被进程所打开的--文件和socket。第一个打开的文件是0，第二个是1，依此类推。Unix 操作系统通常给每个进程能打开的文件数量强加一个限制。更甚的是，unix 通常有一个系统级的限制。因为squid 的工作方式，文件描述符的限制可能会极大的影响性能。当squid 用完所有的文件描述符后，它不能接收用户新的连接。也就是说，用完文件描述符导致拒绝服务。直到一部分当前请求完成，相应的文件和socket 被关闭，squid 不能接收新请求。当squid发现文件描述符短缺时，它会发布警告。在运行./configure 之前，检查你的系统的文件描述符限制是否合适，能给你避免一些麻烦。大多数情况下，1024 个文件描述符足够了。非常忙的cache可能需要4096或更多。在配置文件描述符限制时，我推荐设置系统级限制的数量为每个进程限制的2 倍。

---

2、怎么突破，具体方法？

先查看LINUX默认的文件描述符：# ulimit -n1024我们用命令ulimit -HSn 65536来增大文件描述符，然后编译安装squid，把ulimit -HSn 65536放到/etc/rc.d/rc.local让启动时加载。以下为转载：Linux在Linux 上配置文件描述符有点复杂。在编译squid 之前，你必须编辑系统include 文件中的一个，然后执行一些shell 命令。请首先编辑/usr/include/bits/types.h 文件，改变__FD_SETSIZE 的值：#define _ _FD_SETSIZE 8192下一步，使用这个命令增加内核文件描述符的限制：# echo 8192 >; /proc/sys/fs/file-max最后，增加进程文件描述符的限制，在你即将编译squid 的同一个shell 里执行：sh# ulimit -Hn 8192该命令必须以root 运行，仅仅运行在bash shell。不必重启机器。使用这个技术，你必须在每一次系统启动后执行上述echo 和ulimit 命令，或者至少在squid 启动之前。假如你使用某个rc.d 脚本来启动squid，那是一个放置这些命令的好地方。补充： 

补充： 文件描述符是个很小的正整数，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。   文件描述符的优点：兼容POSIX标准，许多Linux和UNIX系统调用都依赖于它。  文件描述符的缺点：不能移植到UNIX以外的系统上去，也不直观。    基于文件描述符的输入输出函数：  open：打开一个文件，并指定访问该文件的方式，调用成功后返回一个文件描述符。  creat：打开一个文件，如果该文件不存在，则创建它，调用成功后返回一个文件描述符。  close：关闭文件，进程对文件所加的锁全都被释放。  read：从文件描述符对应的文件中读取数据，调用成功后返回读出的字节数。  write：向文件描述符对应的文件中写入数据，调用成功后返回写入的字节数。  ftruncate：把文件描述符对应的文件缩短到指定的长度，调用成功后返回0。  lseek：在文件描述符对应的文件里把文件指针设定到指定的位置，调用成功后返回新指针的位置。  fsync:将所有已写入文件中的数据真正写到磁盘或其他下层设备上，调用成功后返回0。  fstat：返回文件描述符对应的文件的相关信息，把结果保存在struct stat中，调用成功后返回0。  fchown：改变与打开文件相关联的所有者和所有组，调用成功后返回0。  fchmod：把文件描述符对应的文件的权限位改为指定的八进制模式，调用成功后返回0。  flock：用于向文件描述符对应的文件施加建议性锁，调用成功后返回0。  fcntl：既能施加建议性锁也能施加强制性锁，能建立记录锁、读取锁和写入锁，调用成功后返回0。  dup：复制文件描述符，返回没使用的文件描述符中最小的编号。  dup2：由用户指定返回的文件描述符的值，用来重新打开或重定向一个文件描述符。  select：同时从多个文件描述符读取数据或向多个文件描述符写入数据

---

查看某个进程的 pid ps –ef | grep asterisk查看 某个 pid 对应的限制cat /proc/19488/limits详细列出了其下的子任务的情况，每个子文件夹里同样有一个limits文件，限定了各子任务的情况/proc/19488/task/一个进程打开了几个文件描述符呢ll /proc/2323/fd/用 wc 命令统计行数ll /proc/2323/fd/ | wc -l

---

http://www.cppblog.com/guojingjia2006/archive/2012/11/21/195450.html

http://blog.sina.com.cn/s/blog_67b74aea01018ycx.html

http://www.cnblogs.com/Jezze/archive/2011/12/23/2299861.html