爬虫进程
来源:互联网 发布:python编写上位机 编辑:程序博客网 时间:2024/05/16 03:47
import timeimport multiprocessingimport requestsimport recookie = {'Cookie':"BAIDUID=AFDBFCAEE39CE519FDD67912907966CF:SL=0:NR=20:FG=1; BIDUPSID=AFDBFCAEE39CE519FDD67912907966CF; PSTM=1487903278; BDUSS=BsYjVzcnJzT3lzR3BkdXpud0E5dWZDVmp3UWFSV00wakdsOU9WTzhzZ2stQ2haSVFBQUFBJCQAAAAAAAAAAAEAAADJDuomyfHS4LrOu7awoQAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAACRrAVkkawFZNH; H_PS_PSSID=1463_21082_20880_22072; BDORZ=FFFB88E999055A3F8A630C64834BD6D0; PSINO=2; BDRCVFR[Fc9oatPmwxn]=G01CoNuskzfuh-zuyuEXAPCpy49QhP8"}def process(num,url,prname): yuan = requests.get(url,cookies=cookie).text demo = re.compile('<a href="(.*?)".*?><span class="fl">(.*?)</span><span.*?>(.*?)</span></a>',re.S) list = demo.findall(yuan) for a,b,c in list: time.sleep(num) print(prname,a,num)if __name__ == '__main__': p = multiprocessing.Process(target=process, args=(1,'http://www.maiziedu.com/course/393/','进程1')) p1 = multiprocessing.Process(target=process, args=(2,'http://www.maiziedu.com/course/373/','进程2')) p.start() p1.start()for p in multiprocessing.active_children(): p.join()
阅读全文
0 0
- 爬虫进程
- 小爬虫,线程,进程?
- 多进程爬虫
- 多进程爬虫
- python爬虫-多进程
- python 多进程爬虫案例
- python爬虫:编写多进程爬虫学习笔记
- 【WebScraping】并行下载_多线程爬虫&多进程爬虫
- 爬虫实战4—多线程与多进程爬虫
- 从零开始学网络爬虫之多进程
- Python学习之多进程并发爬虫
- 多进程 多线程 异步 爬虫(1)
- 多进程 多线程 异步 爬虫(2)
- Python爬虫-进程池方式爬取头条视频
- python爬虫学习多进程下载图片
- Python爬虫学习笔记--多进程用法
- python爬虫——多进程multiprocessing
- python scrapy多进程新闻爬虫
- Eclipse背景颜色修改
- 中文翻译The Django Book
- spring cloud config整合gitlab搭建分布式的配置中心
- python多线程
- Palindrome Number
- 爬虫进程
- Python下如何使用CGI
- Kubernetes主机和容器的监控方案
- elasticsearch 类型中添加新的字段
- Vue2.0 -- Eslint 规则说明
- 学习JMeter的笔记
- Tree Traversals Again
- 分享 一个比 jsfiddle 碉堡 1000 倍的工具
- Hadoop MapReduce多路径输入和多个类型输入