基于PYTHON requests包,代理ip+header+延时爬取的简单实现
来源:互联网 发布:Java毫秒和日期的换算 编辑:程序博客网 时间:2024/06/06 03:33
附上代码,httpbin.org/ip可查看当前访问IP
# coding=utf-8import urllib2import randomimport timeimport requestsdef dl(): a1={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64)'} o_g=['114.239.3.149:808','61.232.254.39:3128','218.18.232.29:8080'] a=0 for a in range(0,3): proxies_l = {'http': o_g[a], } print(proxies_l['http']) try: req=requests.get('http://httpbin.org/ip',headers=a1,proxies=proxies_l) print('finish') print (req.text) except: print('no proxies') sleep_time=random.randint(1,3) time.sleep(sleep_time) print('Wait%ds'%sleep_time)dl()
阅读全文
1 0
- 基于PYTHON requests包,代理ip+header+延时爬取的简单实现
- 使用Requests+xpath实现简单的数据爬取
- Python爬取代理IP
- Python爬取代理IP
- python +requests 实现爬取百度图片
- java代理实现爬取代理IP
- python项目之 爬取代理的ip地址
- 利用Python爬取可用的代理IP
- python爬虫爬取goubanjia的代理ip
- 简单使用requests库爬取Ip代理
- jsoup简单爬取代理ip
- python的requests类库(一)requests库和urllib包对比:一个简单get请求
- requests使用代理ip的方法
- 爬取代理ip
- python:使用requests,bs4爬取mmjpg上的图片
- IP代理池的Python实现
- Python requests爬虫爬取小说数据
- python requests爬取网页乱码问题
- shuoj 1084 字符串问题
- SIFT、SURF 、HOG 讲解博文
- springmvc简单使用
- Unity官方实例教程 Roll-a-Ball 学习笔记
- java @Override错误的解决办法
- 基于PYTHON requests包,代理ip+header+延时爬取的简单实现
- VJ组队赛->House Building(5538)
- 百度编辑器上传视频以及视频编辑器预览bug解决
- java中protect属性用法总结
- java多态理解
- 显示一个饼图
- Tensorflow基础知识总结(2)
- jsp验证码
- All of LeetCode