使用zlib库进行短文本压缩
来源:互联网 发布:寒江独钓cc攻击器源码 编辑:程序博客网 时间:2024/04/28 07:00
这几天被服务器内存的事情,搞的脑袋都大了,由于服务器预估不足,程序耗用的内存过大,连做梦都在琢磨办法解决,由于程序对于内存管理这块的结构设计已经非常精巧了,从结构上优化的潜力不大。
后来不得不从存入内存的内容入手,目前的程序将大量的url存在内存里面,所以很容易的想法就是将这些url压缩了。
想到了立马就干,早上6点爬起来,用zlib就开始做。
简单看了一下帮助,就调用compress函数来做了。
可是结果却给我泼了一大盆冷水,compress函数对url这样的短文本基本上没有作用:(
但是现在看来压缩url是比较好的解决方法,因为这样不需要对程序架构进行更改。那只能继续看帮助和zlib的源代码,原来compress这个函数其实就是对deflateInit,deflate这几个函数的封装,仔细的读了一下这几个函数的manpage,发现对于短文本的操作应该这样配置:
1. 取消压缩时加入的header和crc附加码(将windowBits 设置为负值,这样deflate() 就只会生成原始的压缩内容,这点对短文本非常有效)
2. 加入短文本中的高频词到压缩字典中(这点对url这样的数据很有效果)
代码如下:
- 使用zlib库进行短文本压缩
- 使用Zlib库进行文件的压缩和解压
- 使用Zlib库进行文件的压缩和解压
- 转贴: 【python】使用zlib进行压缩解压
- Zlib压缩类库使用
- Linux下使用Zlib压缩库,进行文件的压缩与解压缩 (一)
- TextGrocery短文本分类使用
- 使用zlib库进行数据压缩
- [Zlib]_[初级]_[使用zlib库压缩目录]
- LINUX、C#下使用zlib进行对称压缩、解压
- 短文本Python库TextGrocery
- 使用ZLib库压缩解压缩Demo
- 使用zlib库实现gzip格式压缩
- zlib的使用-压缩
- 使用zlib库进行数据压缩、解压缩
- zlib压缩解压库
- zlib压缩库备忘
- 通用压缩库zlib
- MYSQL 内存机制
- 手机开发环境软件下载地址
- 取*.properties 中的值
- 在北京注册科技类公司的经历(二):入资
- BlackBerry上连接HTTP或Socket的五种方式
- 使用zlib库进行短文本压缩
- 子窗口控件 -windows程序设计
- Sql Server 分区演练
- C++中static和extern的微妙细节
- 一个HR给应届毕业生的面试建议
- shared_ptr简介
- 虚幻Unreal Engine3完全解析
- 三种权限设计方案的归纳和比较
- Yahoo的Flush the Buffer Early 思想!