Python HTTPConnectionPool [Errno 11004]
来源:互联网 发布:淘宝卖家信息 编辑:程序博客网 时间:2024/06/05 19:15
由于需要进行一些文章的抓取,我开了一个多进程的Pool,相信大家这个应该是了解的,可是后面遇见了两种问题,题目所描述的只是我认为比较重要的一点。
第一种HTTPConnectionPool
[Errno -3] Temporary failure in name resolution
关于这种问题其实就是说明你的抓取速度太快了,并且你的requests连接并没有关闭,不要害怕是被封。这种情况只需要添加一个timeout和关闭一下requests即可,代码如下。
response = requests.get(url, headers={'Connection': 'close'}, timeout=10)
第二种HTTPConnecitonPool
[Errno 11004] getaddrinfo failed
这种问题其实就是在上述问题的一种增强版,也就是说刚才你改好了代码,发现可以运行了,但是运行着运行着又断了,这种时候是说明你的速度达到了Pool的limit,应该把每次请求关闭,然后下一次请求就不会去占用Pool里面的资源了,解决方法便是将你要返回的内容赋值给一个变量然后关闭请求再返回那个变量,代码如下。
response.encoding = 'utf-8' if response.status_code == 200: time.sleep(1) content = response.text response.close() return content return None
这里说的主要是多进程里面使用Pool可能遇见的一些问题,不喜勿喷,如果有什么不正确的地方也希望大家指出来,谢谢。
阅读全文
0 0
- Python HTTPConnectionPool [Errno 11004]
- ERROR (ConnectionError): HTTPConnectionPool (Caused by <class 'socket.error'>: [Errno 111] Connecti
- python error: [Errno 10054]
- python [Errno 10060]错误
- python django runserver errno 10013
- PermissionError: [Errno 13] in python
- python [Errno socket error] [Errno 104] Connection reset by peer
- errno
- errno
- errno
- errno
- errno
- errno
- errno
- errno
- errno
- errno
- errno
- Windows下的字符串处理(1)
- 如何使用Servlet和filter实现:一个Servlet文件完成多个Servlet功能
- 2017秋招-技术岗-微软-探星夏令营(2轮)
- windows文件夹过长无法删除的解决办法 node_modules
- Android 主题切换/换肤方案 研究(三)
- Python HTTPConnectionPool [Errno 11004]
- 超越感觉 读后小结
- 欢迎使用CSDN-markdown编辑器
- Linux下.tar.xz结尾的文件的压缩/解压方法
- 关于vue的项目有关问题(随时更新)
- Redis CAS乐观锁实现
- 【PAT】【Advanced Level】1122. Hamiltonian Cycle (25)
- 成衣植入RFID极可能成为一大趋势
- Function Run Fun HDU