Scrapy模拟表单和Ajax发送POST请求
来源:互联网 发布:单片机矩阵键盘原理图 编辑:程序博客网 时间:2024/06/03 07:08
scrapy.FormRequest
普通请求使用scrapy.Request类就可以实现,但是遇到模拟表单或Ajax提交post请求的时候,Request类就不如 子类 FormRequest类方便了,因为他自带 formdata ,专门用来设置表单字段数据,默认method也是POST。
def start_requests(self): form_data = {'f1':'1', 'f2':'100'} # 表单数据,字典格式,注意数字也要用引号引起来,否则报错。 yield scrapy.FormRequest(url, formdata=form_data) # 还可以通过callback修改回调函数等
参考:
http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html?highlight=post#formrequest-objects
https://stackoverflow.com/questions/39012902/scrapy-making-request-with-post-method
scrapy.http.FormRequest
还有其他方法,如scrapy.http.FormRequest,但是感觉不如以上方法方便:
return [scrapy.http.FormRequest( self.myurl, formdata={'f1':'123','f2':'456'}, callback=self.parse)]
from scrapy.item import Item, Fieldfrom scrapy.http import FormRequestfrom scrapy.spider import BaseSpiderclass DeltaItem(Item): title = Field() link = Field() desc = Field()class DmozSpider(BaseSpider): name = "delta" allowed_domains = ["delta.com"] start_urls = ["http://www.delta.com"] def parse(self, response): yield FormRequest.from_response(response, formname='flightSearchForm', formdata={'departureCity[0]': 'JFK', 'destinationCity[0]': 'SFO', 'departureDate[0]': '07.20.2013', 'departureDate[1]': '07.28.2013'}, callback=self.parse1) def parse1(self, response): print response.status
参考:http://www.smipple.net/snippet/fruityworld/scrapy%20post%20request
阅读全文
0 0
- Scrapy模拟表单和Ajax发送POST请求
- 模拟发送POST请求,提交表单
- 模拟表单发送POST,GET请求获取数据
- Ajax发送POST请求
- Ajax发送Post请求
- Ajax -- 发送 POST 请求
- Ajax发送post请求
- ajax 发送post请求
- Golang发送post表单请求
- scrapy基础知识之发送POST请求
- HttpWebRequest发送模拟POST请求
- php 模拟发送post请求
- 浏览器模拟发送post请求
- PHP模拟发送POST请求之三、用Telnet和fsockopen()模拟发送POST信息
- PHP模拟发送POST请求之三、用Telnet和fsockopen()模拟发送POST信息
- ajax发送get、post请求
- ajax发送get、post请求
- Post方式发送Ajax请求
- linux modules 指定模块编译
- 浅谈Nginx负载均衡与F5的区别
- 使用 Navicat Lite 连接 Oracle 数据库
- 浅谈A-Frame从零开始做一个 Web 3D 互动游戏
- 比特币
- Scrapy模拟表单和Ajax发送POST请求
- 代码之美-让自己的代码变得幽默
- 我需要用的eclipse快捷键归纳
- javascript 求一组数的最小公倍数和最大公约数的简便算法 (三种方法,面向对象,回归迭代,和循环)
- C#IO流文件操作
- Android 绘制流程分析与自定义控件
- greendao3.0简单实现
- 程序员面试金典(5):基本字符串压缩(python)
- css 变量