scrapy专利爬虫(二)——请求相关
来源:互联网 发布:唐筛标准年龄风险数据 编辑:程序博客网 时间:2024/05/19 23:16
scrapy专利爬虫(二)——请求相关
在这里笔者将会介绍一些关于发送request的相关内容。
Spider
Spider默认需要填写三个参数:
namespider的独立名称,必须唯一allowed_domains允许爬取的范围,以专利爬虫为例,不会超出专利网站的范围,所以只需要填写”pss-system.gov.cn”即可。start_urls起始url,spider会首先请求这个参数里的地址。Request和FormRequest
在Spider之后,如果想继续深入爬取,可以使用Requset或FormRequest对象建立新的链接。
- 需要指定Request/FormRequset的callback参数,这是一个含reponse的回调函数,这样当请求完成后,scrapy会自动调用所设定的回调函数处理reponse。
- 参数传递,Request和FormRequest都用meta这个参数,这个参数会跟随reponse在callback参数的回调函数中出现。所以可以进行参数传递。
- 设定请求的method是get,post等。
- 关于FormRequest,这是一个可以用来发送表单数据的请求,有个formData参数,可带tuple格式参数
- 其他参数详见官方文档
在这里必须要解释的一个python关键字是yield
,笔者的理解这是一个迭代对象生成器。对于list等可迭代对象,可以用函数的方式生成,只要在函数中使用yield这个关键字,代码在执行的时候会先挂起yield前的所有操作,当对象产生迭代行为,如for循环时才会执行前面的代码。在scrapy中将会经常使用这个关键字,发送请求。
下载延时
在settings.py文件中,可以设置请求完成后的文件下载延时DOWNLOAD_DELAY,为了减轻服务器的压力这个延时不能设置得太低。
部分中间件
- UserAgentMiddleware
可以用来随机替换程序发送请求请求的User-Agent参数,伪装各种浏览器,不会轻易被服务器发现。
class RandomUserAgentMiddleware(UserAgentMiddleware): def process_request(self, request, spider): request.headers.setdefault('User-Agent', HeadersEngine().getRandomUserAgent())
- HttpProxyMiddleware
可以用来实现ip代理的功能
class ProxyMiddleware: def process_request(self, request, spider): request.meta['proxy'] = "http://" + 你的代理ip + : + 你的代理ip的端口号
- 如何开启中间件
在settings.py文件中,有这样一段代码:
DOWNLOADER_MIDDLEWARES = { 'PatentCrawler.middlewares.ProxyMiddleware': 543, 'PatentCrawler.middlewares.RandomUserAgentMiddleware': 542}
需要在花括号内将定义的中间件填写上去,并填写优先级。
源码下载
- csdn
- github
阅读全文
0 0
- scrapy专利爬虫(二)——请求相关
- scrapy专利爬虫(一)——scrapy简单介绍
- scrapy专利爬虫(三)——简单实际操作
- scrapy专利爬虫(四)——数据处理
- 用 Scrapy+Mariadb 实现汉典数据爬虫(二)——Scrapy简单介绍
- 浅谈 Scrapy 爬虫(二)
- Scrapy爬虫(二)——自定义Item和代理访问的爬虫
- Scrapy定向爬虫教程(二)——提取网页内容
- Scrapy定向爬虫教程(二)——提取网页内容
- Scrapy爬虫(三)——简易动态网页爬虫
- 网络爬虫系列笔记(4)——Scrapy爬虫
- 保存数据到MySql数据库——我用scrapy写爬虫(二)
- Python爬虫框架Scrapy学习二记——Scrapy开发环境配置
- Scrapy简明教程(二)——开启Scrapy爬虫项目之旅
- Scrapy爬虫(二):爬虫简介
- python 爬虫学习二(Scrapy讲解)
- 爬虫总结(二)-- scrapy
- Scrapy爬虫(一)——你的第一个Scrapy爬虫
- scrapy专利爬虫(一)——scrapy简单介绍
- 对Android权限请求的封装,打造简洁好用的requestPermissions
- .net 开发日志
- C#学习笔记(三)—–C#高级特性:Lambda表达式
- 观察者模式
- scrapy专利爬虫(二)——请求相关
- 安卓中为了获取context的方法和区别(getContext,getActivity,this,mainActivity.this等)
- 怎么用foxmail接收阿里云邮箱邮件
- Spring Batch在大型企业中的最佳实践
- NSIS制作卸载器时注意事项和如何创建桌面快捷方式
- php JSON数据格式化方法
- Mysql表连接:外连接(左连接右连接)与内连接
- framework 比较靠谱的文章
- Android 下拉刷新上拉加载(解决item未满一页时的显示问题、添加网络错误等提示)