利用管道化连接下载网页 Java

HTTP连接的建立需要时间。如果我们要从一台服务器上获取4个文件，获取每个文件都要重新建立连接来获取数据，这势必会降低文件下载效率，因为有一部分时间花费在建立连接上了，而不是真正在传输有用数据，如图a所示：

如果我们能建立一个连接，传输完所有四个文件，再关闭连接，必然会增加文件下载效率，因为节省了多次建立连接的开销，持久连接就是这样的连接，它的工作方式如图b所示：

简单的持久连接有个问题，就是每次都要等到我们获得了上一次请求的响应之后，才能发起下一次连接，这导致请求的时候，输入流是完全闲置的，获取响应的时候，输出流是完全闲置的。如果我们能一边发送请求，一边接收响应，这必然能更加充分的利用这个连接，可以被这样使用的持久连接叫做管道化连接，它的工作方式如图c所示：

下面给出的Java代码是通过一个管道化连接从服务器上获取多个文件的示例：

package socket;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.io.OutputStreamWriter;import java.io.PrintWriter;import java.net.Socket;import java.net.UnknownHostException;import java.nio.file.Files;import java.nio.file.Path;import java.nio.file.Paths;import java.nio.file.StandardOpenOption;public class ReuseSocket {    public static void main(String[] args) throws UnknownHostException,            IOException {        String host = "www.cnblogs.com";        int port = 80;        String path = "/chenying99/p/3735282.html";        String path2 = "/everSeeker/p/5462853.html";        String result = getByPipePipelinedConnection(host, port, path, path2);        writeFile(result, "d:/test/pipelined.html", "utf-8");    }    /**     * 通过一个管道化连接获取host指定的主机上paths指定的所有文件     * @param host 主机名     * @param port 端口     * @param paths host指定的主机上的文件路径集合     * @return 服务器返回的结果     * @throws UnknownHostException     * @throws IOException     */    public static String getByPipePipelinedConnection(String host, int port,             String...paths) throws UnknownHostException, IOException {        StringBuilder lines = new StringBuilder();        try(Socket socket = new Socket(host, port);            // 输出流            PrintWriter printWriter = new PrintWriter((new OutputStreamWriter(                    socket.getOutputStream(), "utf-8")));            // 输入流            BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(                            socket.getInputStream(), "utf-8"));            ) {            for (String path : paths) {                String requestHead = generateRequestHead(host, path);                printWriter.println(requestHead);                printWriter.flush();            }            String line = null;            while ((line = bufferedReader.readLine()) != null) {                lines.append(line);                lines.append(System.lineSeparator());            }        }        return lines.toString();    }    /**     *      * @param host 主机名     * @param path 主机上某个文件的路径     * @return 获得host指定主机上的path指定的文件的请求头     */    private static String generateRequestHead(String host, String path) {        StringBuffer requestHeader = new StringBuffer();        requestHeader                .append("GET " + path + " HTTP/1.1\n")                .append("Accept: text/html, application/xhtml+xml, */*\n")                .append("Accept-Language:zh-CN,zh;q=0.8\n")                .append("User-Agent: Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; WOW64; Trident/6.0)\n")                .append("HOST:" + host + "\n")                .append("\n");        return requestHeader.toString();    }    /**     * 把字符串写进文件，文件已经存在会覆盖原文件     * @param content 字符串     * @param pathName 文件路径名     * @param charsetName 字符集     */    private static void writeFile(String content, String pathName, String charsetName) {        Path path = Paths.get(pathName);        try {            Files.write(path, content.getBytes(charsetName), StandardOpenOption.CREATE);        } catch (IOException e) {            e.printStackTrace();        }    }}

想更细致的了解管道化连接，可以阅读《HTTP权威指南》4.6节，本文的图也来自这本书。