断点续传下载原理实现
来源:互联网 发布:网站数据uv的含义 编辑:程序博客网 时间:2024/06/05 22:38
需求背景
- 动态创建的文件下载的时候希望浏览器显示下载进度
- 动态创建的文件希望能够分段下载
HTTP断点续传报文
要实现HTTP
断点续传必须要简单了解以下几个报文。
- Accept-Ranges 告诉客户端(浏览器..)服务器端支持断点续传
服务器端返回
- Range 客户端告诉服务器端从指定的的位置/范围(这里值字节数)下载资源
客户端发出
- Content-Range 服务器端告诉客户端响应的数据信息,在整个返回体中本部分的字节位置
服务器端返回
- ETag 资源标识
非必须
服务器端返回
- Last-Modified 资源最后一次更新的时间
非必须
服务器端返回
Range
的范围格式
- 表示0-499个字节范围:Range: bytes=0-499
- 表示最后500个字节范围:Range: bytes=-500
- 表示500字节开始到结束范围:Range: bytes=500-
- 表示第一个和最后一个字节:Range: bytes=0-0,-1
- 表示同时指定几个范围:Range: bytes=500-600,601-999
Content-Range
的数据格式
Content-Range: bytes 0-499/22036 :表示返回0-499字节范围数据 资源一共22036个字节
原理
- 客户端发起请求 设置
Range
指定开始字节数或结束字节数 如果是从0开始也可以不用设置。 - 服务器端检查到客户端
Range
头 解析开始字节数以及结束字节数 并返回报文头Accept-Ranges
表示支持断点续传,Content-Range
记录该次向客户端写入流的位置信息,然后再写入流到客户端。 - 服务端可以使用
ETag
Last-Modified
标记一下资源是否被修改。作一些验证工作,如果验证不通过则返回错误,非必须项。
java实现
OutputStream os=null;InputStream inputStream =null;File zipFile=null;try{long zipStart=System.currentTimeMillis();zipFile=createFile();//动态根据业务创建文件if(logger.isInfoEnabled()){logger.info(String.format("压缩ZIP 花费时间 %s(s) ",(System.currentTimeMillis()-zipStart)/1000));}if (zipFile.exists()) {long downloadStart=System.currentTimeMillis();inputStream= new BufferedInputStream(new FileInputStream(zipFile));response.reset();os=new BufferedOutputStream(response.getOutputStream());String userAgent = request.getHeader("USER-AGENT");String fileName=zipFile.getName();if (null != userAgent && -1 != userAgent.indexOf("MSIE")) {fileName = URLEncoder.encode(fileName, "UTF8");} else if (null != userAgent && -1 != userAgent.indexOf("Mozilla")) {fileName = new String(fileName.getBytes("utf-8"), "ISO-8859-1");}response.setHeader("Accept-Ranges", "bytes");response.setHeader("Content-Disposition","attachment;filename="+ fileName);response.setContentType(MediaType.APPLICATION_OCTET_STREAM_VALUE);long pos = 0, fileSize=zipFile.length(),last=fileSize-1;response.setHeader("ETag",zipFile.getName().concat(Objects.toString(fileSize)).concat("_").concat(Objects.toString(zipFile.lastModified())));response.setDateHeader("Last-Modified",zipFile.lastModified());response.setDateHeader("Expires",System.currentTimeMillis()+1000*60*60*24);if (null != request.getHeader("Range")) {response.setStatus(HttpServletResponse.SC_PARTIAL_CONTENT);try {// 暂时只处理这2种range格式 1、RANGE: bytes=111- 2、Range: bytes=0-499String numRang = request.getHeader("Range").replaceAll("bytes=", "");String[] strRange = numRang.split("-");if (strRange.length == 2) {pos = Long.parseLong(strRange[0].trim());last = Long.parseLong(strRange[1].trim());} else {pos = Long.parseLong(numRang.replaceAll("-", "").trim());}} catch (NumberFormatException e) {logger.error(request.getHeader("Range") + " error");pos = 0;}}long rangLength = last - pos + 1;String contentRange = new StringBuffer("bytes ").append(String.valueOf(pos)).append("-").append(last).append("/").append(String.valueOf(fileSize)).toString();response.setHeader("Content-Range", contentRange);response.addHeader("Content-Length",Objects.toString(rangLength));if(pos>0){inputStream.skip(pos);}byte[] buffer = new byte[1024*512];//每次以512KB 0.5MB的流量下载int length = 0,sendTotal=0;while (sendTotal < rangLength && length!=-1) {length = inputStream.read(buffer, 0,((rangLength - sendTotal) <= buffer.length ?((int) (rangLength - sendTotal)) : buffer.length));sendTotal = sendTotal + length;os.write(buffer, 0, length);}if(os!=null){os.flush();}if(logger.isInfoEnabled()){logger.info(String.format("下载 花费时间 %s(s) ",(System.currentTimeMillis()-downloadStart)/1000));}}}catch (Exception e){if(StringUtils.endsWithIgnoreCase(e.getMessage(),"Broken pipe")){logger.error("用户取消下载");}logger.error(e.getMessage(),e);}finally {if(os!=null){try{os.close();}catch (Exception e){}}if(inputStream!=null){try{IOUtils.closeQuietly(inputStream);}catch (Exception e){}}}}
比如google
浏览器下载的时候就能看到下载进度以及暂停下载和恢复下载操作,也可以设置Range
测试分段下载。
关注公众号<笑笑笑技术圈>会不定期发布一些不限于技术的文章
阅读全文
0 0
- 断点续传下载原理实现
- 断点续传下载原理实现
- 断点续传下载原理实现
- 断点续传下载原理实现
- 断点续传下载原理实现
- Android实现网络多线程断点续传下载原理
- 网络下载-断点续传原理
- IOS 下载文件断点续传原理与实现(附源码)
- 多线程下载,断点续传原理解析和代码实现
- http协议学习-断点续传和多线程下载的实现原理
- 断点续传实现文件下载
- 断点续传下载的实现
- 断点续传原理与实现
- 断点续传的实现原理
- iOS- 断点续传实现原理
- 断点续传的实现原理
- php 文件下载 断点续传 原理
- 多线程断点续传文件下载原理
- mac os x使用Git和bitbucke
- 挖隧道 最短路
- Kattis
- TCP报头与UDP报头的区别
- .html(),.text()和.val()的 不同之处
- 断点续传下载原理实现
- Annu. Rev. Genet:植物微生物组——系统性见解与展望
- Codeforces Round #432 (Div. 2) D
- 关于Android兼容7.0系统版本的问题
- 算法入门1:二分查找
- C语言实现栈(基于数组)
- 蓝牙
- 获取Android key hash值和 Sha1key 值
- 解决虚拟机下Ubuntu cheese黑屏问题