多进程加协程学习总结

#coding:utf-8
import gevent.monkey
gevent.monkey.patch_socket()
from multiprocessing import Pool
import lxml.html
import requests
from gevent.pool import Pool as Gevent_Pool

def a():

    p2 = Gevent_Pool(10)

    p2.spawn(xxx,xx) #可以换成map 更简单写法

    p2.join()

p1 = Pool(10)
for i in range(10):
    p1.apply_async(a, args=(i,))
p1.close()
p1.join()

windows平台下，gevent遇到的坑, Gevent_Pool 设置数量一定少于1000，超过1024铁定要报错。可采取多进程方式，每个进程开启500，gevent稳稳的跑起来了。