分析Fiddler抓取的豆瓣开发的API接口详解
来源:互联网 发布:电魂网络客服电话 编辑:程序博客网 时间:2024/05/16 13:49
一、Fiddler Web Sessions部分
1、豆瓣开发的API查询接口(GET类型的接口):https://api.douban.com/v2/book/search?q=''
2、查询“挪威的森林”,使用Fiddler进行抓包
3、如上图我们可以看到,抓到了一个JSON的包,
A、HTTP响应状态是200,
B、使用到的协议是HTTPS,
C、请求地址的域名是: api.douban.com;
D、请求服务器路径为:/v2/book/search?q=%27%E6%8C%AA%E5%A8%81%E7%9A%84%E6%A3%AE%E6%9E%97%27
E、body请求的大小为:44572字节
F、请求的缓存过期时间或者缓存控制header等值(Caching)的信息为:
- must-revalidate:响应会被重新用来满足接下来的请求,但是必须到服务器端去验证是否是最新的,
- no-cache:响应不会被缓存
- private:响应只能够作为私有的缓存,不能再用户间共享
J、请求响应的类型(Content-Type):application/json; charset=utf-8H、发出此请求的Windows进程及进程ID(Process):Chrome:3784
二、Request部分
1、Headers
- 请求头:get方法+空格+请求服务器路径+空格+协议版本
- Cache-Control:max-age=0表示:每次重新访问服务器
- 客户端能够接受的内容类型(Accept):text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
- 指定浏览器可以支持的web服务器返回内容压缩编码类型(Accept-Encoding):gzip, deflate, br
- 浏览器可接受的语言(Accept-Language):zh-CN,zh;q=0.8
- 请求的用户信息(Usr-Agent):Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
- Cookies(请求发送时,把该请求域名下的所有cookie值一起发送给web服务器):
__utma=30149280.1842889463.1506072170.1506072170.1506072170.1__utma:用来记录网站访问者的来源,第一个数(30149280):表示域名的HASH串,对于一个确定的域名来说,这个值不会改变第二个数(1842889463):识别访客的ID,不同的值意味着不同的访问者第三个数(1506072170):访客第一次访问网站的时间,时间为UNIX时间
第四个数(1506072170):访客前一个visit开始的时间
第五个数(1506072170):这个访客这一次visit开始的时间
第六个数(1):记录这个访客访问网站的次数
_utmz30149280.1506072170.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic第一个数(30149280):表示域名的HASH值第二个数(1842889463):表示随机数字,是用_ust=Math.round((new Date()).getTime()/1000); 计算出来的
第三个数(1):是__utma的第六个固定常量
第四个数(1):这个访问者通过不同个来源(除了直接来源)访问网站的来源数
第五个数(utmcsr=baidu|utmccn=(organic)|utmcmd=organic):表示来源等信息,如搜索引擎是百度,
- security
Upgrade-Insecure-Request:1---如果在https的页面需要加载http的资源,那么浏览器就会报错或者提示,为了促进用户升级协议,同时不需要网站开发者劳师 动众地把整个网站的http资源改成https资源,chrome增加一个Upgrade-Insecure-Requests: 1头,告诉服务器,浏览器可以处 理https协议,然后服务器返回Content-Security-Policy: upgrade-insecure-requests头,或者通过meta头设置,告诉浏览器,对 于页面的http资源,请求时可以自动升级到https。
- transport
Connection:Keep-Alive---表示长连接Host:域名是:api.douban.com
2、WebForms
q=‘挪威的森林’:搜索的关键字是挪威的森林
3、Cookies
请求发送的Cookie数据为155byte
4、Raw
- 请求行:GET https://api.douban.com/v2/book/search?q=%27%E6%8C%AA%E5%A8%81%E7%9A%84%E6%A3%AE%E6%9E%97%27 HTTP/1.1
- 请求头部:
Host: api.douban.comConnection: keep-aliveCache-Control: max-age=0Upgrade-Insecure-Requests: 1User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8Accept-Encoding: gzip, deflate, brAccept-Language: zh-CN,zh;q=0.8Cookie: bid=nCTKzrzAtIA; __utma=30149280.1842889463.1506072170.1506072170.1506072170.1; __utmz=30149280.1506072170.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic
- 请求正文
Get请求没有请求正文
三、Response部分
1、Headers
- HTTP/1.1 200 OK:请求成功
- Cache-Control:must-revalidate, no-cache, private:访问时都会重新访问服务器
- Date:Sat, 30 Sep 2017....GMT:访问时间
2、Json
显示这本书的一些信息,如这本书在豆瓣的那里:https://book.douban.com/subject/1046265/,作者的一些信息等
3、Raw
阅读全文
0 0
- 分析Fiddler抓取的豆瓣开发的API接口详解
- 使用Fiddler抓取到的“姐夫酷”API接口
- DC学院数据分析师(入门)学习笔记----基于网站API抓取《摔跤吧!爸爸》的豆瓣评分情况
- Fiddler抓取数据并分析(完整的配置教程)
- Fiddler如何抓取接口
- Fiddler抓取接口
- Fiddler抓取https的原理
- 使用Fiddler调试你的移动应用后台api接口
- 使用Fiddler调试你的移动应用后台api接口
- 由抓取豆瓣信息想到的網絡知識
- [Python]抓取豆瓣电影列表的标题
- 爬虫抓取豆瓣小组里的图片
- 抓取豆瓣某本书的评论
- 成功抓取豆瓣读书的所有书籍
- 使用Fiddler抓取Android手机的APP的数据和API
- 百度音乐API抓取-Fiddler
- Python3爬虫之六网页的初步分析【抓取豆瓣最新电影影评并用词云显示】
- Fiddler抓取Android真机上的HTTPS包
- Linux进制转换命令 xxd、od
- 超链接提交form表单
- oracle之case...when, decode函数的使用
- NoSql数据库(三)------Memcached数据库的安装和测试
- oracle function
- 分析Fiddler抓取的豆瓣开发的API接口详解
- 响应式网站开发的干货
- Java复制文件的4种方式
- NFS原理安装配置
- 如何优雅地用TensorFlow预测时间序列:TFTS库详细教程
- C++ 继承与派生的访问性
- Linux下单网卡设置双ip,ubuntu设置双IP
- Function类型(重点)
- java设计模式之建造者模式