爬虫解决网页重定向问题
来源:互联网 发布:单片机的电子琴设计 编辑:程序博客网 时间:2024/06/06 01:48
1.服务器端重定向,在服务器端完成,一般来说爬虫可以自适应,是不需要特别处理的,如响应代码301(永久重定向)、302(暂时重定向)等。具体来说,可以通过requests请求得到的response对象中的url、status_code两个属性来判断。当status_code为301、302或其他代表重定向的代码时,表示原请求被重定向;当response对象的url属性与发送请求时的链接不一致时,也说明了原请求被重定向且已经自动处理。
2.meta refresh,即网页中的<meta>标签声明了网页重定向的链接,这种重定向由浏览器完成,需要编写代码进行处理。例如,某一重定向如下面的html代码第三行中的注释所示,浏览器能够自动跳转,但爬虫只能得到跳转前的页面,不能自动跳转。
解决办法是通过得到跳转前的页面源码,从中提取出重定向url信息(上述代码第三行中的url属性值)。一个具体的操作:①使用xpath('//meta[@http-equiv="refresh" and @content]/@content')提取出content的值 ②使用正则表达式提取出重定向的url值。3.js 重定向,通过JavaScript代码形式进行重定向。如下面JavaScript代码
对于这种方式的跳转,由于可以实现该功能的JavaScript语句有多种形式,不能再使用正则表达式提取url,只能考虑加载JavaScript代码来进行解决。阅读全文
0 1
- python爬虫解决网页重定向问题
- 爬虫解决网页重定向问题
- python爬虫解决网页重定向问题
- 解决网页重定向带来的无法返回的问题
- asp网页重定向问题
- 解决dns劫持,网页重定向114
- URLConnection实现爬虫(解决重定向、设置cookie才能抓取页面等问题)
- python爬虫<解决URL被重定向无法抓取到数据问题>
- larbin的使用心得 重构成定向网页爬虫
- 5.15 ruby爬虫事件 (解决代理,重定向)
- 定向网页爬虫经验总结
- cookie重定向问题的解决!
- ICMP重定向问题的解决
- SpyHunter解决Chrome重定向searchinterneat问题
- python urllib2 解决重定向问题
- 处理重定向网页
- 网页重定向
- Redirect,网页重定向
- Sql日期查询-SQL查询今天、昨天、7天内、30天
- 淘淘商城系列——使用maven tomcat插件启动web工程
- JPEG驱动(一)
- JPEG驱动(二)
- jdbc-jdbc4.0
- 爬虫解决网页重定向问题
- Canvas的drawText绘制文本自动换行(支持设置显示最大行数)
- HttpClients 如何自动处理重定向
- URL传参中不能带特殊的字符以及处理方案
- 【Jsoup】抓取文章并定制
- 动态代理两种方式及比较
- HSSFSimpleShape
- 欢迎使用CSDN-markdown编辑器
- 【WampServer笔记】常用文件及其配置