Scrapy添加随机ip
来源:互联网 发布:php贴吧盖楼源代码 编辑:程序博客网 时间:2024/06/15 18:01
在settings.py里从数据库取出ip:
import pymongodef get_proxy(): mongoclient = pymongo.MongoClient(MONHOST,MONPORT) db = mongoclient[MONDB] proxy_list = db.host.find() PROXIES = [] for proxy in proxy_list: PROXIES.append(proxy) return PROXIESPROXIES = get_proxy()
创建中间件文件mymiddleware.py,settings里设置DOWNLOADER_MIDDLEWARES:
from scrapy.conf import settingsimport randomclass RandomProxyMiddleware(object): def process_request(self,request,spider): proxy = random.choice(settings['PROXIES']) if proxy.get('auth') is None: request.meta['proxy'] = 'http://'+':'.join([proxy['ip'], proxy['port']])
settings超时设置:
# 请求超时DOWNLOAD_TIMEOUT = 5# 重新请求RETRY_ENABLED = True# 重试次数RETRY_TIMES = 3
阅读全文
0 0
- Scrapy添加随机ip
- scrapy IP 池
- scrapy代理ip
- scrapy之ip池
- 给Scrapy添加代理
- Scrapy爬虫:代理IP配置
- Scrapy抓取西刺高匿代理ip
- python scrapy 之 随机选择user-agent
- Scrapy 通过中间件实现随机User-Agent
- 反反爬虫------设置scrapy随机user_agents
- Scrapy增加随机请求头user_agent
- 制造随机IP地址
- 生成随机IP代码
- 用scrapy获取代理ip地址
- 使用scrapy爬取代理ip
- Scrapy爬虫框架使用IP代理池
- 根据IP段随机生成IP
- java 随机获取国内IP
- easyui下拉框值改变
- C# 虚函数,多态( virtual,override )
- BZOJ 3289 Mato的文件管理(莫队+线段树/树状数组)
- uip协议栈
- 蹭着 Java 热点出生的 JavaScript 已经 22 岁了
- Scrapy添加随机ip
- Android RecyclerView一键快速切换布局样式
- java并发编程实践(3)
- 【洛谷】3807 【模板】卢卡斯定理
- pygame颜色设置
- 拦截器+post+get
- Java序谈之代码块和继承知识
- 学习日志2017.12.07
- c++关于cin作为while条件的问题