HTTP协议简单总结

来源：互联网发布：python 爬虫多进程编辑：程序博客网时间：2024/06/18 14:34

概述

HTTP协议（超文本传输协议），是互联网上应用最为广泛的一种网络协议。所有的www文件都必须遵守这个标准。

历史

HTTP协议是基于TCP/IP协议的应用层协议。它不涉及数据包传输，主要规定了客户端和服务之间的通信格式，默认使用80端口。

一、HTTP/0.9

最早版本是1991年发布0.9版。该版本只有一个命令GET。

GET/index.html

上面命令表示，TCP链接建立后，客户端向服务器请求网页index.html。

协议规定，服务器只能回应HTML格式的字符串，不能回应别的格式。

服务器发送完毕，就关闭TCP链接。

二、HTTP/1.0

2.1简介

1996年5月，HTTP/1.0版本发布，内容大幅度增加。

首先，任何格式的内容都可以发送。这使得互联网不仅可以传输文字，还能传输图像、音频、视频、二进制文件。

其次，除了GET命令，还引入了POST命令和HEAD命令，丰富了游览器与服务器的互动方式。

再次，HTTP请求和回应的格式也做出了改变。除了数据部分，每次通信都必须包括头信息（HTTP header），用来描述一些元数据。

其他新增功能还包括（status code）、多字符集支持、多部分发送（multi-part type）、权限（authorization）、缓存（cache）、内容编码（content encoding）等。

2.2请求格式

GET / HTTP/1.0 // 第一行是请求命令行，分三部分（请求命令、访问的资源、使用的HTTP版本），第二部分一个“/”说明请求的是该域名的跟目录User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

2.3响应格式

HTTP/1.0 200 OK Content-Type: text/plainContent-Length: 137582Expires: Thu, 05 Dec 1997 16:00:00 GMTLast-Modified: Wed, 5 August 1996 15:55:28 GMTServer: Apache 0.84<html>  <body>Hello World</body></html>

响应的格式是”头信息 + 一个空行（\r\n） + 数据”。其中，第一行是”协议版本 + 状态码（status code） + 状态描述”。

2.4 Content-Type

关于字符的编码，1.0版规定，头信息必须是 ASCII 码，后面的数据可以是任何格式。因此，服务器回应的时候，必须告诉客户端，数据是什么格式，这就是Content-Type字段的作用。

常见类型

text/plain    text/html    text/css    image/jpeg    image/png    image/svg+xml    audio/mp4    video/mp4    application/javascript    application/pdf    application/zip    application/atom+xml

数据类型总称MIME type，每个值包括一级类型和二级类型，之间用“/”分隔。也支持自定义。

MIME type还可以在尾部使用分号，添加参数。

Content-Type: text/html; charset=utf-8 // 发送的是网页，而且编码是UTF-8

客户端也可以在请求的时候通过Accept字段声明自己支持哪些数据格式。

2.5 Content-Encoding 字段

说明数据压缩的方法

Content-Encoding: gzipContent-Encoding: compressContent-Encoding: deflate

客户端在请求时，使用Accept-Encoding字段说明自己可以支持的压缩格式

Accept-Encoding: gzip, deflate

2.6 缺点

HTTP/1.0版本主要缺点是，每个TCP链接只能发送一个请求。发送数据完毕，链接就关闭，如果还要请求其他资源，必须重新建立连接

TCP链接建立成本比较高，因为需要3次握手，并且刚开始发送速率较慢，随着网页加载的外部资源越来越多，问题就越来越严重。

为了解决这个问题，在游览器请求时，使用了一个非标准的Connection字段

Connection: keep-alive

这个字段要求服务器不要关闭TCP连接，以便其他请求复用。服务器同样回应这个字段。

Connection: keep-alive

这样就可以实现TCP链接的复用，直到客户端或服务器主动关闭连接。

三、HTTP/1.1

1997年1月，HTTP/1.1版本发布，只比 1.0 版本晚了半年，它完善了HTTP/1.0

3.1 持久化链接

1.1版本最大变化，引入了持久化链接（persistent connection），即TCP默认链接不关闭，可以被多个请求复用，不用声明Connection: keep-alive。当客户端或服务器发现对方一段时间没有活动，就可以关闭连接。不过，规范做法是：在客户端发起最后一个请求时，发送Connection：close，明确要求服务器关闭TCP链接。

目前，对于同一个域名，大多数浏览器允许同时建立6个持久连接。

3.2 管道机制

1.1引入管道机制（pipelining）：在同一个TCP链接里面，客户端可以同时发送多个请求。进一步提高了HTTP协议的通信效率。

客户端当请求两个资源时，可以不用等到服务器对第一个资源的响应，继续发送第二个请求，服务器还是按照请求的顺序来响应客户端。

3.3 Content-Length

因为一个TCP链接可以有多个回应，我们需要区分数据包是属于哪一个回应的。Content-length字段的作用，声明本次回应的数据长度。

注：TCP 包的大小 MTU（1500） - 8 (PPP的包头包尾) - 20 (IP头) - 20 (TCP头) = 1452 (字节)

MTU最大传输单元，这个最大传输单元实际上和链路层协议有着密切的关系，EthernetII帧的结构DMAC+SMAC+Type+Data+CRC由于以太网传输电气方面的限制，每个以太网帧都有最小的大小64bytes最大不能超过1518bytes，对于小于或者大于这个限制的以太网帧我们都可以视之为错误的数据帧，一般的以太网转发设备会丢弃这些数据帧。

Content-Length: 6648 // 本次回应的长度是6648个字节

3.4 分块传输编码

使用Content-Length字段的前提条件是，服务器发送回应之前，必须知道回应的数据长度。

对于一些很耗时的动态操作来说，这意味着，服务器要等到所有操作完成，才能发送数据，显然这样的效率不高。更好的处理方法是，产生一块数据，就发送一块，采用”流模式”（stream）取代”缓存模式”（buffer）。

因此，1.1版规定可以不使用Content-Length字段，而使用”分块传输编码”（chunked transfer encoding）。只要请求或回应的头信息有 Transfer-Encoding 字段，就表明回应将由数量未定的数据块组成。

Transfer-Encoding: chunked

每个非空的数据块之前，会有一个16进制的数值，表示这个块的长度。最后是一个大小为0的块，就表示本次回应的数据发送完了

3.5 其他功能

1.1版本新增请求方法： PUT、PATCH、HEAD、OPTIONS、DELETE

客户端请求头新增Host字段，用来指定服务器的域名。

有了Host字段，就可以将请求发往同一台服务器上的不同网站，为虚拟主机的兴起打下了基础。

3.6 缺点

虽然1.1版允许复用TCP连接，但是同一个TCP连接里面，所有的数据通信是按次序进行的。服务器只有处理完一个回应，才会进行下一个回应。要是前面的回应特别慢，后面就会有许多请求排队等着。这称为”队头堵塞”（Head-of-line blocking）。

为了避免这个问题，只有两种方法：一是减少请求数，二是同时多开持久连接。这导致了很多的网页优化技巧，比如合并脚本和样式表、将图片嵌入CSS代码、域名分片（domain sharding）等等。如果HTTP协议设计得更好一些，这些额外的工作是可以避免的。

四、SPDY协议

2009年谷歌公开自行研发的SPDY协议，主要解决HTTP/1.1效率不高问题。

这个协议在Chrome游览器上证明可以后，就被当作HTTP/2的基础，主要特性都在HTTP/2之中得到继承。

五、HTTP/2

2015年发布，注意：不是HTTP/2.0，因为标准委员会不打算再发布子版本了，下一个新版本将是 HTTP/3。

5.1 二进制协议

HTTP/1.1 版的头信息肯定是文本（ASCII编码），数据体可以是文本，也可以是二进制。HTTP/2 则是一个彻底的二进制协议，头信息和数据体都是二进制，并且统称为”帧”（frame）：头信息帧和数据帧。

二进制协议的一个好处是，可以定义额外的帧。HTTP/2 定义了近十种帧，为将来的高级应用打好了基础。如果使用文本实现这种功能，解析数据将会变得非常麻烦，二进制解析则方便得多。

5.2 多工

HTTP/2 复用TCP连接，在一个连接里，客户端和浏览器都可以同时发送多个请求或回应，而且不用按照顺序一一对应，这样就避免了”队头堵塞”。

举例来说，在一个TCP连接里面，服务器同时收到了A请求和B请求，于是先回应A请求，结果发现处理过程非常耗时，于是就发送A请求已经处理好的部分，接着回应B请求，完成后，再发送A请求剩下的部分。

这样双向的、实时的通信，就叫做多工（Multiplexing）。

5.3 数据流

因为 HTTP/2 的数据包是不按顺序发送的，同一个连接里面连续的数据包，可能属于不同的回应。因此，必须要对数据包做标记，指出它属于哪个回应。

HTTP/2 将每个请求或回应的所有数据包，称为一个数据流（stream）。每个数据流都有一个独一无二的编号。数据包发送的时候，都必须标记数据流ID，用来区分它属于哪个数据流。另外还规定，客户端发出的数据流，ID一律为奇数，服务器发出的，ID为偶数。

数据流发送到一半的时候，客户端和服务器都可以发送信号（RST_STREAM帧），取消这个数据流。1.1版取消数据流的唯一方法，就是关闭TCP连接。这就是说，HTTP/2 可以取消某一次请求，同时保证TCP连接还打开着，可以被其他请求使用。

客户端还可以指定数据流的优先级。优先级越高，服务器就会越早回应。

5.4 头信息压缩

HTTP 协议不带有状态，每次请求都必须附上所有信息。所以，请求的很多字段都是重复的，比如Cookie和User Agent，一模一样的内容，每次请求都必须附带，这会浪费很多带宽，也影响速度。

HTTP/2 对这一点做了优化，引入了头信息压缩机制（header compression）。一方面，头信息使用gzip或compress压缩后再发送；另一方面，客户端和服务器同时维护一张头信息表，所有字段都会存入这个表，生成一个索引号，以后就不发送同样字段了，只发送索引号，这样就提高速度了。

5.5 服务器推送

HTTP/2 允许服务器未经请求，主动向客户端发送资源，这叫做服务器推送（server push）。

常见场景是客户端请求一个网页，这个网页里面包含很多静态资源。正常情况下，客户端必须收到网页后，解析HTML源码，发现有静态资源，再发出静态资源请求。其实，服务器可以预期到客户端请求网页后，很可能会再请求静态资源，所以就主动把这些静态资源随着网页一起发给客户端了。

六、参考链接

http://www.oschina.net/news/76365/http-introduce

阅读全文

0 0