断点续传下载原理实现

需求背景

• 动态创建的文件下载的时候希望浏览器显示下载进度
• 动态创建的文件希望能够分段下载

HTTP断点续传报文

要实现HTTP断点续传必须要简单了解以下几个报文。

• Accept-Ranges 告诉客户端(浏览器..)服务器端支持断点续传 服务器端返回
• Range 客户端告诉服务器端从指定的的位置/范围(这里值字节数)下载资源 客户端发出
• Content-Range 服务器端告诉客户端响应的数据信息，在整个返回体中本部分的字节位置 服务器端返回
• ETag 资源标识 非必须 服务器端返回
• Last-Modified 资源最后一次更新的时间 非必须 服务器端返回

Range 的范围格式

1. 表示0-499个字节范围：Range: bytes=0-499
2. 表示最后500个字节范围：Range: bytes=-500
3. 表示500字节开始到结束范围：Range: bytes=500-
4. 表示第一个和最后一个字节：Range: bytes=0-0,-1
5. 表示同时指定几个范围：Range: bytes=500-600,601-999

Content-Range 的数据格式

Content-Range: bytes 0-499/22036 ：表示返回0-499字节范围数据 资源一共22036个字节

原理

1. 客户端发起请求 设置Range指定开始字节数或结束字节数 如果是从0开始也可以不用设置。
2. 服务器端检查到客户端Range头 解析开始字节数以及结束字节数 并返回报文头 Accept-Ranges表示支持断点续传，Content-Range记录该次向客户端写入流的位置信息，然后再写入流到客户端。
3. 服务端可以使用ETag Last-Modified 标记一下资源是否被修改。作一些验证工作，如果验证不通过则返回错误，非必须项。

java实现

 OutputStream os=null;    InputStream inputStream =null;    File zipFile=null;    try{        long zipStart=System.currentTimeMillis();        zipFile=createFile();//动态根据业务创建文件        if(logger.isInfoEnabled()){            logger.info(String.format("压缩ZIP 花费时间 %s(s) ",        (System.currentTimeMillis()-zipStart)/1000));        }        if (zipFile.exists()) {            long downloadStart=System.currentTimeMillis();            inputStream= new BufferedInputStream(new FileInputStream(zipFile));            response.reset();            os=new BufferedOutputStream(response.getOutputStream());            String userAgent = request.getHeader("USER-AGENT");            String fileName=zipFile.getName();            if (null != userAgent && -1 != userAgent.indexOf("MSIE")) {                fileName = URLEncoder.encode(fileName, "UTF8");            } else if (null != userAgent && -1 != userAgent.indexOf("Mozilla")) {                fileName = new String(fileName.getBytes("utf-8"), "ISO-8859-1");            }            response.setHeader("Accept-Ranges", "bytes");            response.setHeader("Content-Disposition",         "attachment;filename="+ fileName);            response.setContentType(MediaType.APPLICATION_OCTET_STREAM_VALUE);            long pos = 0, fileSize=zipFile.length(),    last=fileSize-1;            response.setHeader("ETag",zipFile.getName().         concat(Objects.toString(fileSize))                    .concat("_").concat(Objects.toString(zipFile.lastModified())));            response.setDateHeader("Last-Modified",zipFile.lastModified());            response.setDateHeader("Expires",            System.currentTimeMillis()+1000*60*60*24);            if (null != request.getHeader("Range")) {                response.setStatus(HttpServletResponse.SC_PARTIAL_CONTENT);                try {                    // 暂时只处理这2种range格式 1、RANGE: bytes=111- 2、Range: bytes=0-499                    String numRang = request.getHeader("Range")            .replaceAll("bytes=", "");                    String[] strRange = numRang.split("-");                    if (strRange.length == 2) {                        pos = Long.parseLong(strRange[0].trim());                        last = Long.parseLong(strRange[1].trim());                    } else {                        pos = Long.parseLong(numRang.replaceAll("-", "").trim());                    }                } catch (NumberFormatException e) {                    logger.error(request.getHeader("Range") + " error");                    pos = 0;                }            }            long rangLength = last - pos + 1;            String contentRange = new StringBuffer("bytes ").            append(String.valueOf(pos)).            append("-").append(last).append("/").            append(String.valueOf(fileSize)).toString();            response.setHeader("Content-Range", contentRange);            response.addHeader("Content-Length",Objects.toString(rangLength));            if(pos>0){                inputStream.skip(pos);            }            byte[] buffer = new byte[1024*512];//每次以512KB 0.5MB的流量下载            int length = 0,sendTotal=0;            while (sendTotal < rangLength && length!=-1) {                length = inputStream.read(buffer, 0,        ((rangLength - sendTotal) <= buffer.length ?                        ((int) (rangLength - sendTotal)) : buffer.length));                sendTotal = sendTotal + length;                os.write(buffer, 0, length);            }            if(os!=null){                os.flush();            }            if(logger.isInfoEnabled()){                logger.info(String.format("下载 花费时间 %s(s) ",        (System.currentTimeMillis()-downloadStart)/1000));            }        }    }catch (Exception e){        if(StringUtils.endsWithIgnoreCase(e.getMessage(),"Broken pipe")){            logger.error("用户取消下载");        }        logger.error(e.getMessage(),e);    }finally {        if(os!=null){            try{                os.close();            }catch (Exception e){}        }        if(inputStream!=null){            try{                IOUtils.closeQuietly(inputStream);            }catch (Exception e){}        }    }}