分析Fiddler抓取的豆瓣开发的API接口详解

来源:互联网 发布:电魂网络客服电话 编辑:程序博客网 时间:2024/05/16 13:49

一、Fiddler Web Sessions部分

1、豆瓣开发的API查询接口(GET类型的接口):https://api.douban.com/v2/book/search?q=''

2、查询“挪威的森林”,使用Fiddler进行抓包


3、如上图我们可以看到,抓到了一个JSON的包,

A、HTTP响应状态是200,

B、使用到的协议是HTTPS,

C、请求地址的域名是: api.douban.com;

D、请求服务器路径为:/v2/book/search?q=%27%E6%8C%AA%E5%A8%81%E7%9A%84%E6%A3%AE%E6%9E%97%27 

E、body请求的大小为:44572字节

F、请求的缓存过期时间或者缓存控制header等值(Caching)的信息为:

    • must-revalidate:响应会被重新用来满足接下来的请求,但是必须到服务器端去验证是否是最新的,
    • no-cache:响应不会被缓存
    • private:响应只能够作为私有的缓存,不能再用户间共享
J、请求响应的类型(Content-Type):application/json; charset=utf-8
H、发出此请求的Windows进程及进程ID(Process):Chrome:3784

二、Request部分


1、Headers

  • 请求头:get方法+空格+请求服务器路径+空格+协议版本
  • Cache-Control:max-age=0表示:每次重新访问服务器
  • 客户端能够接受的内容类型(Accept):text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
  • 指定浏览器可以支持的web服务器返回内容压缩编码类型(Accept-Encoding):gzip, deflate, br
  • 浏览器可接受的语言(Accept-Language):zh-CN,zh;q=0.8
  • 请求的用户信息(Usr-Agent):Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
  • Cookies(请求发送时,把该请求域名下的所有cookie值一起发送给web服务器):

         __utma=30149280.1842889463.1506072170.1506072170.1506072170.1  

__utma:用来记录网站访问者的来源,
第一个数(30149280):表示域名的HASH串,对于一个确定的域名来说,这个值不会改变
第二个数(1842889463):识别访客的ID,不同的值意味着不同的访问者
第三个数(1506072170):访客第一次访问网站的时间,时间为UNIX时间
第四个数(1506072170):访客前一个visit开始的时间
第五个数(1506072170):这个访客这一次visit开始的时间
第六个数(1):记录这个访客访问网站的次数

    _utmz

  30149280.1506072170.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic
第一个数(30149280):表示域名的HASH值
第二个数(1842889463):表示随机数字,是用_ust=Math.round((new Date()).getTime()/1000); 计算出来的
第三个数(1):是__utma的第六个固定常量
第四个数(1):这个访问者通过不同个来源(除了直接来源)访问网站的来源数
第五个数(utmcsr=baidu|utmccn=(organic)|utmcmd=organic):表示来源等信息,如搜索引擎是百度,

  • security
Upgrade-Insecure-Request:1---如果在https的页面需要加载http的资源,那么浏览器就会报错或者提示,为了促进用户升级协议,同时不需要网站开发者劳师  动众地把整个网站的http资源改成https资源,chrome增加一个Upgrade-Insecure-Requests: 1头,告诉服务器,浏览器可以处  理https协议,然后服务器返回Content-Security-Policy: upgrade-insecure-requests头,或者通过meta头设置,告诉浏览器,对  于页面的http资源,请求时可以自动升级到https。
  • transport
Connection:Keep-Alive---表示长连接
Host:域名是:api.douban.com


2、WebForms

q=‘挪威的森林’:搜索的关键字是挪威的森林

3、Cookies


请求发送的Cookie数据为155byte

4、Raw


  • 请求行:GET https://api.douban.com/v2/book/search?q=%27%E6%8C%AA%E5%A8%81%E7%9A%84%E6%A3%AE%E6%9E%97%27 HTTP/1.1
  • 请求头部:

Host: api.douban.com

Connection: keep-alive

Cache-Control: max-age=0

Upgrade-Insecure-Requests: 1

User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8

Accept-Encoding: gzip, deflate, br

Accept-Language: zh-CN,zh;q=0.8

Cookie: bid=nCTKzrzAtIA; __utma=30149280.1842889463.1506072170.1506072170.1506072170.1; __utmz=30149280.1506072170.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic


  • 请求正文
Get请求没有请求正文

三、Response部分


1、Headers


  • HTTP/1.1 200 OK:请求成功
  • Cache-Control:must-revalidate, no-cache, private:访问时都会重新访问服务器
  • Date:Sat, 30 Sep 2017....GMT:访问时间

2、Json


显示这本书的一些信息,如这本书在豆瓣的那里:https://book.douban.com/subject/1046265/,作者的一些信息等

3、Raw










原创粉丝点击