snappy压缩
来源:互联网 发布:使命召唤12优化设置 编辑:程序博客网 时间:2024/05/16 18:42
Snappy 是一个 C++ 的用来压缩和解压缩的开发包,其目标不是最大限度压缩,而且不兼容其他压缩格式。Snappy 旨在提供高速压缩速度和合理的压缩率。Snappy 比 zlib 更快,但文件相对要大 20% 到 100%。在 64位模式的 Core i7 处理器上,可达每秒 250~500兆的压缩速度。
Snappy 在 Google 内部被广泛的使用,从 BigTable 到 MapReduce 以及内部的 RPC 系统。snappy 是一个压缩库。它可以利用单颗Intel Corei7处理器内核处理至少每秒250MB~500MB的数据流。snappy 的前身是Zippy。虽然只是一个数据压缩库,它却被Google用于许多内部项目程,其中就包括BigTable,MapReduce(如对中间结果的压缩,map任务的结果传输到reduce任务)和RPC。Google宣称它在这个库本身及其算法做了数据处理速度上的优化,作为代价,并没有考虑输出大小以及和其他类似工具的兼容性问题。Snappy特地为64位x86处理器做了优化,在单个Intel Core i7处理器内核上能够达到至少每秒250MB的压缩速率和每秒500MB的解压速率。
如果允许损失一些压缩率的话,那么可以达到更高的压缩速度,虽然生成的压缩文件可能会比其他库的要大上20%至100%,但是,相比其他的压缩库,Snappy却能够在特定的压缩率下拥有惊人的压缩速度,“压缩普通文本文件的速度是其他库的1.5-1.7倍,HTML能达到2-4倍,但是对于JPEG、PNG以及其他的已压缩的数据,压缩速度不会有明显改善”。
Snappy 在 Google 内部被广泛的使用,从 BigTable 到 MapReduce 以及内部的 RPC 系统。snappy 是一个压缩库。它可以利用单颗Intel Corei7处理器内核处理至少每秒250MB~500MB的数据流。snappy 的前身是Zippy。虽然只是一个数据压缩库,它却被Google用于许多内部项目程,其中就包括BigTable,MapReduce(如对中间结果的压缩,map任务的结果传输到reduce任务)和RPC。Google宣称它在这个库本身及其算法做了数据处理速度上的优化,作为代价,并没有考虑输出大小以及和其他类似工具的兼容性问题。Snappy特地为64位x86处理器做了优化,在单个Intel Core i7处理器内核上能够达到至少每秒250MB的压缩速率和每秒500MB的解压速率。
如果允许损失一些压缩率的话,那么可以达到更高的压缩速度,虽然生成的压缩文件可能会比其他库的要大上20%至100%,但是,相比其他的压缩库,Snappy却能够在特定的压缩率下拥有惊人的压缩速度,“压缩普通文本文件的速度是其他库的1.5-1.7倍,HTML能达到2-4倍,但是对于JPEG、PNG以及其他的已压缩的数据,压缩速度不会有明显改善”。
0 0
- snappy压缩
- Snappy压缩
- Hadoop压缩-SNAPPY算法
- Hadoop压缩算法snappy
- hadoop 压缩-snappy
- 配置Snappy压缩
- 配置Snappy压缩
- python使用snappy压缩
- HBase开启Snappy压缩
- HBase开启Snappy压缩
- Hadoop Snappy压缩算法简介
- Hbase设置Snappy压缩测试
- JAVA代码之Snappy 压缩
- 编译hadoop支持snappy压缩
- hbase1.3配置snappy压缩
- Hbase增加Snappy压缩格式的调研
- Snappy压缩库安装和使用之一
- hbase压缩算法-Snappy算法安装
- HDU 5092 Seam Carving(DP, 路径)
- C++入门经典(第三版Ivor Horton著 ) 第一章习题答案
- 渗透测试工具sqlmap基础教程
- 软件编程之“获得事后原谅总是比事先得到许可容易得多”
- 4 Values whose Sum is 0
- snappy压缩
- JDK和CGLib两种方式实现动态代理模式
- nexus 创建和使用
- c语言快速排序代码
- 第11周 项目6-4 输出1000以内的所有素数
- Linux下防御arp攻击的方法
- 题目1001:A+B for Matrices
- Visual studio 2013 #include <SDKDDKVer.h>
- Linux系统增加交换空间的方法