Scrapy定向爬虫教程(六)——分析表单并回帖
来源:互联网 发布:windows xp自动安装 编辑:程序博客网 时间:2024/05/30 04:21
本节内容
在某些时候,网站的某些内容的访问不仅仅需要用户登录,而且需要回复才能看到全部内容,如下图。所以我们需要通过模拟表单提交实现用爬虫回帖,进而获取到隐藏内容。本节就来介绍模拟表单提交的方法,github地址:https://github.com/kongtianyi/heartsong/tree/reply
前提
你已经了解了HTML表单的相关知识(这个很好找)和scrapy的简单功能以及配置Cookie,如果还不会,请戳Scrapy定向爬虫教程(五)——保持登陆状态。
分析表单
在帖子页面的底部找到表单,右键检查,查看这一部分的源代码
我们知道,表单提交的数据都在<form>
标签里,明显这里也没有多选框之类的东西,我们只需要把有name属性的元素如<input>
和<textarea>
都找出来就好了
图中提到这时的提交地址并不全,咋办呢,我们就先手动回复一下,看看都发生了什么
转码的话,网上有许多现成的工具,也可以自己写个小脚本。
代码
把上面的四张图看完并且实践之后局势就很清晰了,剩下的就是轻轻松松写代码了。ok,上代码,思路就是先访问一个页面,查找这个页面是否需要回复可见,如果需要,则回复之。这里我把判断是否需要回复注释掉了,随便一个帖子id直接运行就会回复。推荐移步去github上把代码下载到本地来看,重要部分的我都写了注释。
因为本节只介绍回复,所以只要网页上出现了我们用爬虫回复出来的内容就算成功了,就不跟下载分析什么的整合到一起了。
heartsong_spider.py
# -*- coding: utf-8 -*-# import scrapy # 可以用这句代替下面三句,但不推荐from scrapy.spiders import Spiderfrom scrapy.selector import Selectorfrom scrapy import Requestfrom scrapy import FormRequest # 带表单的请求import randomclass HeartsongSpider(Spider): name = "heartsong" allowed_domains = ["heartsong.top"] # 允许爬取的域名,非此域名的网页不会爬取 start_urls = [ # 起始url,这里只回复这一个页面,多个页面连续爬取请看mast分支 "http://www.heartsong.top/forum.php?mod=viewthread&tid=136" ] # 用来保持登录状态,可把chrome上拷贝下来的字符串形式cookie转化成字典形式,粘贴到此处 cookies = {'QGfS_2132_lastvisit': '1478302547', 'QGfS_2132_seccode': '1.fa43f9a3cb6efdd635', 'QGfS_2132_smile': '1D1', 'QGfS_2132_lip': '202.102.144.8%2C1478307120', 'QGfS_2132_ulastactivity': '29d9HUFm42onqH11DCnfZh8MN%2FFmPt0TEe15bNf2oeHflNI%2BJiwJ', 'QGfS_2132_auth': 'd713PkyUoDmnvp%2BestZH5F4lo%2BK0ewxTT1A02ulX%2FbRufbG%2B6T%2FIATHA5uYS9yoQzeNH3qz%2BupceANNs4IWF9w', 'QGfS_2132_nofavfid': '1', 'QGfS_2132_lastact': '1478308730%09misc.php%09patch', 'QGfS_2132_viewid': 'tid_196', 'QGfS_2132_sid': 'wbBi5Q', 'pgv_info': 'ssi', 'QGfS_2132_st_p': '14%7C1478308725%7Cacf78675ed42e1121abb06c3d6b494cb', 'QGfS_2132_visitedfid': '36D48', 'QGfS_2132_saltkey': 'GN4BcGg4', 'QGfS_2132_lastcheckfeed': '14%7C1478307120', 'QGfS_2132_forum_lastvisit': 'D_48_1478306883D_36_1478306901', 'QGfS_2132_st_t': '0%7C1478306901%7C6c837d3b8b5892fd86ea3bb15bf4426e', 'pgv_pvi': '8246475216', 'QGfS_2132_security_cookiereport': '12adOGUyzEnhcSY%2FZb5MgT52%2BxCPi3KZn%2Fh7pNHlxvWLnqDlLbAd'} # 发送给服务器的http头信息,有的网站需要伪装出浏览器头进行爬取,有的则不需要 headers = { 'Connection': 'keep - alive', 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36' } # 对请求的返回进行处理的配置 meta = { 'dont_redirect': True, # 禁止网页重定向 'handle_httpstatus_list': [301, 302] # 对哪些异常返回进行处理 } def start_requests(self): """ 这是一个重载函数,它的作用是发出第一个Request请求 :return: """ # 带着headers、cookies去请求self.start_urls[0],返回的response会被送到 # 回调函数parse中 yield Request(self.start_urls[0], callback=self.parse, headers=self.headers, cookies=self.cookies, meta=self.meta) def parse(self, response): """ 用以处理主题贴的首页 :param response: :return: """ selector = Selector(response) # 创建选择器 table = selector.xpath('//*[starts-with(@id, "pid")]') # 取出所有的楼层 if not table: # 这个链接内没有一个楼层,说明此主题贴可能被删了, # 把这类url保存到一个文件里,以便审查原因 print "bad url!" f = open('badurl.txt', 'a') f.write(response.url) f.write('\n') f.close() return # 如有回复可见的隐藏区域,进行回复 # locked = selector.xpath('//*[@class="locked"]') # if locked: # re_a = locked.xpath('a/text()') # if re_a and re_a.extract()[0] == u'回复': # 找到表单要提交到的地址 form_action = selector.xpath('//*[@id="fastpostform"]/@action').extract()[0] action = "http://www." + self.allowed_domains[0] + "/" + form_action + "&inajax=1" replys = [ '回复看看 有用不', '厉害厉害,谢谢分享!' ] # utf-8编码的一些回复,具体使用什么编码要看具体的网站的编码 reply = replys[random.randint(0, 1)] #防止被管理员识别是机器回复,要随机一下 formdata = { 'formhash': selector.xpath('//*[@id="fastpostform"]/table/tr/td[2]/input[2]/@value').extract()[0], 'usesig': selector.xpath('//*[@id="fastpostform"]/table/tr/td[2]/input[3]/@value').extract()[0], 'subject': selector.xpath('//*[@id="fastpostform"]/table/tr/td[2]/input[4]/@value').extract()[0], 'posttime': selector.xpath('//*[@id="posttime"]/@value').extract()[0], 'message': reply } # 表单数据,是从网页表单代码里分析出来的 # 发出带表单的请求,当然,要有cookie yield FormRequest(action, callback=self.finish, headers=self.headers, cookies=self.cookies, meta=self.meta, formdata=formdata) return def finish(self, response): print "reply seccess!"
效果
与正常手动回复无异。
小结
本节介绍了如何分析表单并回帖,希望对你有所帮助!剩下的部分还有配置代理和发送邮件,如果需要,请通知我更新,哈,懒癌需要驱动。
- Scrapy定向爬虫教程(六)——分析表单并回帖
- Scrapy定向爬虫教程(二)——提取网页内容
- Scrapy定向爬虫教程(三)——爬取多个页面
- Scrapy定向爬虫教程(四)——数据存入MongoDB
- Scrapy定向爬虫教程(五)——保持登陆状态
- Scrapy定向爬虫教程(二)——提取网页内容
- Scrapy定向爬虫教程(三)——爬取多个页面
- Scrapy定向爬虫教程(一)——创建运行项目和基本介绍
- Scrapy定向爬虫教程(一)——创建运行项目和基本介绍
- scrapy模拟表单爬虫
- scrapy模拟表单爬虫
- python Scrapy 框架做爬虫 ——很好的教程
- Python爬虫框架Scrapy教程(1)—入门
- scrapy爬虫实战教程
- Scrapy简明教程(二)——开启Scrapy爬虫项目之旅
- Python爬虫教程——进阶一之爬虫框架Scrapy安装配置
- Python爬虫教程——进阶一之爬虫框架Scrapy安装配置
- Python 爬虫 —— scrapy
- 无法启动Genymotion,出现VirtualBox错误码:0x80004005 解决方法
- public class Demo02<T> implements IStoreAsList<T>
- android7.0关于TelephonyManager.getDeviceId()返回null的问题
- gcc编译c++的选项以及gcc与g++编译c++代码的区别
- 1044. Shopping in Mars (25)
- Scrapy定向爬虫教程(六)——分析表单并回帖
- JS Version Test
- AJAX全选、反选、全不选、删除、批量删除、即点即改
- ndk r9d环境配置
- cp后文件时间会变, mv后文件时间不会变化------定位一个低概率core问题时, 差点误导了自己
- 动态引入“”和<>文件
- Android动画之进度条
- C#中的函数指针(转)
- [LeetCode]--60. Permutation Sequence