请教关于多线程epoll

发布网友 发布时间：2022-04-18 08:19

我来回答

共3个回答

懂视网 时间：2022-04-18 12:40

什么是epoll

epoll是什么？在linux的网络编程中，很长的时间都在使用select来做事件触发。在linux新的内核中，有了一种替换它的机制，就是epoll。当然，这不是2.6内核才有的，它是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44)，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路复用I/O就绪通知方法。

相比于select，epoll最大的好处在于它不会随着监听fd数目的增长而降低效率。因为在内核中的select实现中，它是采用轮询来处理的，轮询的fd数目越多，自然耗时越多。

epoll工作原理

epoll同样只告知那些就绪的文件描述符，而且当我们调用epoll_wait()获得就绪文件描述符时，返回的不是实际的描述符，而是一个代表就绪描述符数量的值，你只需要去epoll指定的一个数组中依次取得相应数量的文件描述符即可，这里也使用了内存映射（mmap）技术，这样便彻底省掉了这些文件描述符在系统调用时复制的开销。

另一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描述符进行扫描，而epoll事先通过epoll_ctl()来注册一个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait()时便得到通知。

从以上可知，epoll是对select、poll模型的改进，提高了网络编程的性能，广泛应用于大规模并发请求的C/S架构中。

python中的epoll

1、触发方式：

边缘触发/水平触发，只适用于Unix/Linux操作系统

2、原理图

3、一般步骤

Create an epoll object——创建1个epoll对象

Tell the epoll object to monitor specific events on specific sockets——告诉epoll对象，在指定的socket上监听指定的事件

Ask the epoll object which sockets may have had the specified event since the last query——询问epoll对象，从上次查询以来，哪些socket发生了哪些指定的事件

Perform some action on those sockets——在这些socket上执行一些操作

Tell the epoll object to modify the list of sockets and/or events to monitor——告诉epoll对象，修改socket列表和（或）事件，并监控

Repeat steps 3 through 5 until finished——重复步骤3-5，直到完成

Destroy the epoll object——销毁epoll对象

4、相关用法

import select 导入select模块

epoll = select.epoll()创建一个epoll对象

epoll.register(文件句柄,事件类型)注册要监控的文件句柄和事件

事件类型:

　　select.EPOLLIN 可读事件

　　select.EPOLLOUT 可写事件

　　select.EPOLLERR 错误事件

　　select.EPOLLHUP 客户端断开事件

epoll.unregister(文件句柄) 销毁文件句柄

epoll.poll(timeout) 当文件句柄发生变化，则会以列表的形式主动报告给用户进程,timeout

为超时时间，默认为-1，即一直等待直到文件句柄发生变化，如果指定为1

那么epoll每1秒汇报一次当前文件句柄的变化情况，如果无变化则返回空

epoll.fileno() 返回epoll的控制文件描述符(Return the epoll control file descriptor)

epoll.modfiy(fineno,event)fineno为文件描述符 event为事件类型 作用是修改文件描述符所对应的事件

epoll.fromfd(fileno)从1个指定的文件描述符创建1个epoll对象

epoll.close() 关闭epoll对象的控制文件描述符

5 实例：客户端发送数据 服务端将接收的数据返回给客户端

服务端代码

#!/usr/bin/env python
#-*- coding:utf-8 -*-
import socket
import select
import Queue
#创建socket对象
serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
#设置IP地址复用
serversocket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
#ip地址和端口号
server_address = ("127.0.0.1", 8888)
#绑定IP地址
serversocket.bind(server_address)
#监听，并设置最大连接数
serversocket.listen(10)
print "服务器启动成功，监听IP：" , server_address
#服务端设置非阻塞
serversocket.setblocking(False) 
#超时时间
timeout = 10
#创建epoll事件对象，后续要监控的事件添加到其中
epoll = select.epoll()
#注册服务器监听fd到等待读事件集合
epoll.register(serversocket.fileno(), select.EPOLLIN)
#保存连接客户端消息的字典，格式为{}
message_queues = {}
#文件句柄到所对应对象的字典，格式为{句柄：对象}
fd_to_socket = {serversocket.fileno():serversocket,}
while True:
 print "等待活动连接......"
 #轮询注册的事件集合，返回值为[(文件句柄，对应的事件)，(...),....]
 events = epoll.poll(timeout)
 if not events:
 print "epoll超时无活动连接，重新轮询......"
 continue
 print "有" , len(events), "个新事件，开始处理......"
 
 for fd, event in events:
 socket = fd_to_socket[fd]
 #如果活动socket为当前服务器socket，表示有新连接
 if socket == serversocket:
  connection, address = serversocket.accept()
  print "新连接：" , address
  #新连接socket设置为非阻塞
  connection.setblocking(False)
  #注册新连接fd到待读事件集合
  epoll.register(connection.fileno(), select.EPOLLIN)
  #把新连接的文件句柄以及对象保存到字典
  fd_to_socket[connection.fileno()] = connection
  #以新连接的对象为键值，值存储在队列中，保存每个连接的信息
  message_queues[connection] = Queue.Queue()
 #关闭事件
 elif event & select.EPOLLHUP:
 print 'client close'
 #在epoll中注销客户端的文件句柄
 epoll.unregister(fd)
 #关闭客户端的文件句柄
 fd_to_socket[fd].close()
 #在字典中删除与已关闭客户端相关的信息
 del fd_to_socket[fd]
 #可读事件
 elif event & select.EPOLLIN:
 #接收数据
 data = socket.recv(1024)
 if data:
  print "收到数据：" , data , "客户端：" , socket.getpeername()
  #将数据放入对应客户端的字典
  message_queues[socket].put(data)
  #修改读取到消息的连接到等待写事件集合(即对应客户端收到消息后，再将其fd修改并加入写事件集合)
  epoll.modify(fd, select.EPOLLOUT)
 #可写事件
 elif event & select.EPOLLOUT:
 try:
  #从字典中获取对应客户端的信息
  msg = message_queues[socket].get_nowait()
 except Queue.Empty:
  print socket.getpeername() , " queue empty"
  #修改文件句柄为读事件
  epoll.modify(fd, select.EPOLLIN)
 else :
  print "发送数据：" , data , "客户端：" , socket.getpeername()
  #发送数据
  socket.send(msg)
#在epoll中注销服务端文件句柄
epoll.unregister(serversocket.fileno())
#关闭epoll
epoll.close()
#关闭服务器socket
serversocket.close()

客户端代码：

#!/usr/bin/env python
#-*- coding:utf-8 -*-
import socket
#创建客户端socket对象
clientsocket = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
#服务端IP地址和端口号元组
server_address = ('127.0.0.1',8888)
#客户端连接指定的IP地址和端口号
clientsocket.connect(server_address)
while True:
 #输入数据
 data = raw_input('please input:')
 #客户端发送数据
 clientsocket.sendall(data)
 #客户端接收数据
 server_data = clientsocket.recv(1024)
 print '客户端收到的数据：'server_data
 #关闭客户端socket
 clientsocket.close()

热心网友 时间：2022-04-18 09:48

当一个节点和多个节点建立连接时，如何高效的处理多个连接的数据，下面具体分析两者的区别。1.select函数函数原型：intselect(intnfds,fd_set*readfds,fd_set*writefds,fd_set*exceptfds,structtimeval*timeout);参数介绍：（1）nfds--fdset集合中最大描述符值加1（2）fdset--一个位数组，其大小*为_FD_SETSIZE(1024)位数组的每一位代表的是其对应的描述符是否需要被检查。（3）readfds--读事件文件描述符数组（4）writefds--写事件文件描述符数组（5）exceptfds--错误事件文件描述符数组（6）timeout--超时事件，该结构被内核修改，其值为超时剩余时间。对应内核：select对应于内核中的sys_select调用，sys_select首先将第二三四个参数指向的fd_set拷贝到内核，然后对每个被SET的描述符调用进行poll，并记录在临时结果中（fdset），如果有事件发生，select会将临时结果写到用户空间并返回；当轮询一遍后没有任何事件发生时，如果指定了超时时间，则select会睡眠到超时，睡眠结束后再进行一次轮询，并将临时结果写到用户空间，然后返2.select/poll特点传统的select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。poll的执行分三部分：（1）.将用户传入的pollfd数组拷贝到内核空间，因为拷贝操作和数组长度相关，时间上这是一个O（n）操作（2）.查询每个文件描述符对应设备的状态，如果该设备尚未就绪，则在该设备的等待队列中加入一项并继续查询下一设备的状态。查询完所有设备后如果没有一个设备就绪，这时则需要挂起当前进程等待，直到设备就绪或者超时。设备就绪后进程被通知继续运行，这时再次遍历所有设备，以查找就绪设备。这一步因为两次遍历所有设备，时间复杂度也是O（n），这里面不包括等待时间（3）.将获得的数据传送到用户空间并执行释放内存和剥离等待队列等善后工作，向用户空间拷贝数据与剥离等待队列等操作的的时间复杂度同样是O（n）。3.epoll机制Linux2.6内核完全支持epoll。epoll的IO效率不随FD数目增加而线性下降。要使用epoll只需要这三个系统调用：epoll_create(2)，epoll_ctl(2)，epoll_wait(2)epoll用到的所有函数都是在头文件sys/epoll.h中声明的，内核实现中epoll是根据每个fd上面的callback函数实现的。只有"活跃"的socket才会主动的去调用callback函数，其他idle状态socket则不会。如果所有的socket基本上都是活跃的---比如一个高速LAN环境，过多使用epoll,效率相比还有稍微的下降。但是一旦使用idleconnections模拟WAN环境,epoll的效率就远在select/poll之上了。3.1所用到的函数：（1）、intepoll_create(intsize)该函数生成一个epoll专用的文件描述符，其中的参数是指定生成描述符的最大范围（2）、intepoll_ctl(intepfd,intop,intfd,structepoll_event*event)用于控制某个文件描述符上的事件，可以注册事件，修改事件，删除事件。如果调用成功返回0,不成功返回-1intepoll_ctl{intepfd,//由epoll_create生成的epoll专用的文件描述符intop,//要进行的操作例如注册事件，可能的取值EPOLL_CTL_ADD注册、//EPOLL_CTL_MOD修改、EPOLL_CTL_DEL删除intfd,//关联的文件描述符structepoll_event*event//指向epoll_event的指针}（3）、intepoll_wait(intepfd,structepoll_event*events,intmaxevents,inttimeout)用于轮询I/O事件的发生，返回发生事件数intepoll_wait{intepfd,//由epoll_create生成的epoll专用的文件描述符structepoll_event*events,//用于回传代处理事件的数组intmaxevents,//每次能处理的事件数inttimeout//等待I/O事件发生的超时值//为0的时候表示马上返回，为-1的时候表示一直等下去，直到有事件//为任意正整数的时候表示等这么长的时间，如果一直没有事件//一般如果网络主循环是单独的线程的话，可以用-1来等，这样可以保证一些效率//如果是和主逻辑在同一个线程的话，则可以用0来保证主循环的效率}epoll是为处理大批量句柄而作了改进的poll。4.epoll的优点：支持一个进程打开大数目的socket描述符(FD)select最不能忍受的是一个进程所打开的FD是有一定*的，由FD_SETSIZE设置，默认值是2048。对于那些需要支持的上万连接数目的IM服务器来说显然太少了。这时候可以：(1)可以修改这个宏然后重新编译内核，不过资料也同时指出，这样也会带来网络效率的下降(2)可以选择多进程的解决方案，不过虽然linux上创建进程的代价比较下，但是仍旧是不可忽视的，所以也不是很完美的方案epoll没有这样的*，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048，具体数组可以查看cat/proc/sys/fs/file-max查看，这个数目和系统内存关系很大。IO效率不随FD数目增加而线性下降传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是"活跃"的，但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。epoll不存在这个问题，它只会对“活跃”的socket进行操作。这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么，只有"活跃"的socket才会主动的去调用callback函数，其他idle状态socket则不会，在这点上，epoll实现了一个"伪"AIO，因为这时候推动力在os内核。在一些benchmark中，如果所有的socket基本上都是活跃的---比如一个高速LAN环境，epoll并不比select/poll有什么效率，相反，如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idleconnections模拟WAN环境,epoll的效率就远在select/poll之上了。使用mmap加速内核与用户空间的消息传递这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间，如何避免不必要的内存拷贝就很重要，在这点上，epoll是通过内核于用户空间mmap同一块内存实现的。而如果你想我一样从2.5内核就关注epoll的话，一定不会忘记手工mmap这一步的。内核微调这一点其实不算epoll的优点了，而是整个linux平台的优点。也许你可以怀疑linux平台，但是你无法回避linux平台赋予你微调内核的能力。比如，内核TCP/IP协议栈使用内存池管理sk_buff结构，那么可以在运行时期动态调整这个内存pool(skb_head_pool)的大小---通过echoXXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函数的第2个参数(TCP完成3次握手的数据包队列长度)，也可以根据你平台内存大小动态调整。更甚至在一个数据包面数目巨大但同时每个数据包本身大小却很小的特殊系统上尝试最新的NAPI网卡驱动架构。

热心网友 时间：2022-04-18 11:06

1、epoll处理并发事件，多线程处理并发业务。
2、poll是Linux内核为处理大批量文件描述符而作了改进的poll，是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。另一点原因就是获取事件的时候，它无须遍历整个被侦听的描述符集，只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。epoll除了提供select/poll那种IO事件的水平触发（Level Triggered）外，还提供了边缘触发（Edge Triggered），这就使得用户空间程序有可能缓存IO状态，减少epoll_wait/epoll_pwait的调用，提高应用程序效率。