对select、poll、epoll的简介及作业中epoll方式的实现

来源：互联网发布：在中国长大的老外知乎编辑：程序博客网时间：2024/04/29 18:03

在视频中，老师对于高级I/O复用进行了一些解释，并详细讲了select的用法，而对于epoll和poll只是简单的提一下。而现在用得最多的是epoll，所以自己查阅了一些资料，并把作业用epoll完成。
select
select最早于1983年出现在4.2BSD中，它通过一个select()系统调用来监视多个文件描述符的数组，当select()返回后，该数组中就绪的文件描述符便会被内核修改标志位，使得进程可以获得这些文件描述符从而进行后续的读写操作。select目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点，事实上从现在看来，这也是它所剩不多的优点之一。select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024，不过可以通过修改宏定义甚至重新编译内核的方式提升这一限制。
另外，select()所维护的存储大量文件描述符的数据结构，随着文件描述符数量的增大，其复制的开销也线性增长。同时，由于网络响应时间的延迟使得大量TCP连接处于非活跃状态，但调用select()会对所有socket进行一次线性扫描，所以这也浪费了一定的开销。
poll
poll在1986年诞生于System V Release 3，它和select在本质上没有多大差别，但是poll没有最大文件描述符数量的限制。
poll和select同样存在一个缺点就是，包含大量文件描述符的数组被整体复制于用户态和内核的地址空间之间，而不论这些文件描述符是否就绪，它的开销随着文件描述符数量的增加而线性增大。
另外，select()和poll()将就绪的文件描述符告诉进程后，如果进程没有对其进行IO操作，那么下次调用select()和poll()的时候将再次报告这些文件描述符，所以它们一般不会丢失就绪的消息，这种方式称为水平触发（Level Triggered）。

epoll
直到Linux2.6才出现了由内核直接支持的实现方法，那就是epoll，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。
epoll可以同时支持水平触发和边缘触发（Edge Triggered，只告诉进程哪些文件描述符刚刚变为就绪状态，它只说一遍，如果我们没有采取行动，那么它将不会再次告知，这种方式称为边缘触发），理论上边缘触发的性能要更高一些，但是代码实现相当复杂。
epoll同样只告知那些就绪的文件描述符，而且当我们调用epoll_wait()获得就绪文件描述符时，返回的不是实际的描述符，而是一个代表就绪描述符数量的值，你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可，这里也使用了内存映射（mmap）技术，这样便彻底省掉了这些文件描述符在系统调用时复制的开销。
另一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描述符进行扫描，而epoll事先通过epoll_ctl()来注册一个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait()时便得到通知。

Python代码实现如下：
###############################################
client.py
###############################################

import socket
import time
server = ('127.0.0.1',2007)
msg = ['hello', 'welcome', 'xiaoming', 'zhangsan', 'lisi', 'liuliu']
socks = []
for i in range(10):
sock = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
socks.append(sock)
for s in socks:
s.connect(server)
counter = 0
for m in msg:
for s in socks:
s.send("%d send %s"%(counter,m))
counter +=1
for s in socks:
data = s.recv(1024)
print '%s echo %s'%(s.getpeername(),data)
if not data:
s.close()
#time.sleep(2)
sock.close()

复制代码

*******************************************************
sever_select.py
*******************************************************

import socket
import select
import Queue
server = ('127.0.0.1',2007)
sock = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
sock.setblocking(False)
sock.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
sock.bind(server)
sock.listen(10)
rlists=[sock]
wlists=[]
msg_que = {}
timeout=20
while rlists:
rs,ws,es = select.select(rlists,wlists,rlists,timeout)
if not (rs or ws or es):
print 'timeout...'
break
for s in rs:
if s is sock:
conn,addr = s.accept()
print 'connect by ',addr
conn.setblocking(False)
rlists.append(conn)
msg_que[conn]=Queue.Queue()
else:
data = s.recv(1024)
if data:
print data
msg_que.put(data)
if s not in wlists:
wlists.append(s)
else:
if s in wlists:
wlists.remove(s)
rlists.remove(s)
s.close()
del msg_que
for s in ws:
try:
msg = msg_que.get_nowait()
except Queue.Empty:
print 'msg empty'
wlists.remove(s)
else:
s.send(msg)
for s in es:
print 'except',s.getpeername()
if s in rlists:
rlists.remove(s)
if s in wlists:
wlists.remove(s)
s.close()
del msg_que

复制代码

以上的client.py和select_server.py都是视频中老师的代码，在这里就不再说了。主要还是看看epoll_server.py的代码

*******************************************************
sever_epoll.py
*******************************************************

import socket
import select
import Queue
server = ("127.0.0.1", 2007)
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.setblocking(False)
sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
sock.bind(server)
sock.listen(10)
msg_que = {}
timeout = 20
# 设置事件权限
READ_ONLY = ( select.EPOLLIN | select.EPOLLPRI | select.EPOLLHUP | select.EPOLLERR)
READ_WRITE = (READ_ONLY|select.EPOLLOUT)
poller = select.epoll()
#将sock和相应的权限注册到epoll中，使得epoll可以响应该sock
poller.register(sock,READ_ONLY)
fd_to_socket = {sock.fileno():sock,}
while True:
events = poller.poll(timeout) #监控是否有事件发生，若有事件返回一个（fd，flag），fd:sock.fileno()，即该sock的文件描述符，flag：该sock的权限
if len(events) == 0: #超时退出
print 'timeout...'
breeak
for fd ,flag in events:
s = fd_to_socket[fd]
if flag & (select.EPOLLIN | select.EPOLLPRI) :#判断该sock的请求是否为读
if s is sock : #请求连接的sock
conn , client_address = s.accept()
print " connect by " , client_address
conn.setblocking(False)
fd_to_socket[conn.fileno()] = conn
poller.register(conn,READ_ONLY)
msg_que[conn] = Queue.Queue()
else : #请求接收的sock
data = s.recv(1024)
if data:
print data
msg_que.put(data)
poller.modify(s,READ_WRITE) #修改该sock的权限，使之可读可写
else :
poller.unregister(s) #收不到数据，取消在epoll中的注册，说明该连接以后不再用
s.close()
del fd_to_socket[fd]
del msg_que
elif flag & select.EPOLLOUT :#判断该sock是否为写
try:
msg = msg_que.get_nowait()
except Queue.Empty:
print s.getpeername() , " que empty"
else :
s.send(msg)
elif flag & select.EPOLLHUP :#判断该sock是否被挂起，将要被关闭
print " Closing ", s.getpeername() ,"(HUP)"
poller.unregister(s)
s.close()
del fd_to_socket[fd]
elif flag & select.EPOLLERR:#判断该sock是否出错
print "except" , s.getpeername()
poller.unregister(s)
s.close()
del fd_to_socket[fd]
del msg_que

复制代码

总的来说，epoll的python实现与select的不同在于将sock和其权限注册到实例化后的一个epoll中，使得该epoll检测已注册的sock是否有事件发生。
epoll的官方文档说明如下，都比较简单。

事件权限掩码表如下：

Constant
Meaning
EPOLLIN
Available for read
EPOLLOUT
Available for write
EPOLLPRI
Urgent data for read
EPOLLERR
Error condition happened on the assoc. fd
EPOLLHUP
Hang up happened on the assoc. fd
EPOLLET
Set Edge Trigger behavior, the default is Level Trigger behavior
EPOLLONESHOT
Set one-shot behavior. After one event is pulled out, the fd is internally disabled
EPOLLRDNORM
Equivalent to EPOLLIN
EPOLLRDBAND
Priority data band can be read.
EPOLLWRNORM
Equivalent to EPOLLOUT
EPOLLWRBAND
Priority data may be written.
EPOLLMSG
Ignored.

epoll的方法如下：

epoll.close()Close the control file descriptor of the epoll object.
epoll.fileno()Return the file descriptor number of the control fd.
epoll.fromfd(fd)Create an epoll object from a given file descriptor.
epoll.register(fd[, eventmask])¶Register a fd descriptor with the epoll object.
Note
Registering a file descriptor that’s already registered raises an IOError – contrary toPolling Objects‘s register.

epoll.modify(fd, eventmask)Modify a register file descriptor.
epoll.unregister(fd)Remove a registered file descriptor from the epoll object.
epoll.poll([timeout=-1[, maxevents=-1]])Wait for events. timeout in seconds (float)

由于poll的实现与epoll的实现基本一样，将代码中的epoll改为poll即可，但是其实现原理却差别很大。这里就不贴poll实现代码
自己也是第一次接触select，希望有高手能提出意见。