QQ空间图片爬虫
来源:互联网 发布:北京用友软件 编辑:程序博客网 时间:2024/04/27 23:53
昨晚玩了一下QQ空间的图片爬虫,发现跟一般的不一样。
QQ空间里面的图片用一般的urllib.urlopen(url)打开图片是打不开。然后想用requests模块,不过感觉有点麻烦,后来用了httplib模块的HTTPConnection进行连接才成功。
一爬,发现只爬了60+张图片,空间一共有700+,为啥不行。。。
HTTPConnection需要跟主机建立连接的,后来发现700+张的图片并不是在同一个主机上,,,,然后就对url进行分析提取主机再建立连接。
查看了一下不同连接的请求信息,主要是headers不一样:
urllib.urlopen(url)的req.headers:
{ host: 'localhost:3000', 'user-agent': 'Python-urllib/1.17' }
HTTPConnection的req.headers:
{ host: 'localhost:3000', 'accept-encoding': 'identity' }
Chromed headers:
{ host: 'localhost:3000',
connection: 'keep-alive',
'cache-control': 'max-age=0',
accept: 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'upgrade-insecure-requests': '1',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36',
'accept-encoding': 'gzip, deflate, sdch',
'accept-language': 'zh-CN,zh;q=0.8',
cookie: 'a3356_times=4',
'if-none-match': 'W/"a01a-igxyqFU/wcUhvngSw3XXSQ"' }
只要对请求的headers进行处理就可以相应地防止爬虫
- QQ空间图片爬虫
- QQSpider qq空间爬虫
- QQ空间的图片
- QQ空间图片trick~
- QQ空间蜘蛛爬虫数据报告
- Python--爬虫QQ空间(一)
- Python爬虫QQ空间好友说说
- QQ空间留言板签名图片
- QQ空间的一张图片
- 仿QQ空间图片展示
- QQ空间图片查看效果实现
- js 仿QQ空间图片弹出效果
- Java实现模拟QQ空间图片上传
- java 模拟触屏版QQ空间上传图片
- Python QQ空间模拟上传图片 代码
- 仿QQ空间图片放缩查看
- QQ空间的下拉放大图片
- 如何获取qq空间图片的url
- 【Java设计模式】详解系列 3.1.1行为型模式 : 观察者模式 — 介绍+实战
- hadoop源码阅读之一:MR第二步:Mapper类
- windows下安装、卸载mysql服务
- 最简单的基于FFMPEG的封装格式转换器(无编解码)
- JavaScript中的作用域和闭包浅谈
- QQ空间图片爬虫
- <重拾C++>函数返回值为引用
- 浅谈Service Manager成为Android进程间通信(IPC)机制Binder守护进程之路
- Cocos2d-x TextField的使用
- 【Clojure】Clojure与Java的互操作形式
- 编译成功hadoop 纪念一下
- 关于我的咨询和技术服务
- nano命令
- freeRTOS学习1