Tokyo Tyrant(TTServer)系列-数据压缩
来源:互联网 发布:javascript 开头 编辑:程序博客网 时间:2024/05/22 16:10
由于忙于工作,好久继续写关于ttserver的东西了。最近由于服务器准备的原因,只能在32位上做ttserver的测试,很快数据就达到 2G,ttserver无法正常工作,于是想到了ttserver的压缩功能,发现压缩比例挺大。所以进行了一些测试并在项目中做了一些应用。本文将展示在64下面进行压缩的压缩比以及进行压缩的好处。
压缩测试
数据:2720268条原始新闻数据,每条数据使用json格式进行存储。
A机器ttserver配置:casket.tch#bnum=100000000#xmsiz=524288000#rcnum=200000#opts=ld
B机器ttserver配置:casket.tch#bnum=100000000#xmsiz=524288000#rcnum=200000
分别把原始新闻数据存储A机器和B机器。其中A和B的ulog日志文件大小都为 19G。接下来来看ttserver的数据库文件大小,
A机器(有压缩)6.1G,B机器 (无压缩)17G。压缩后大概只占原来文件的1/3。
配置中的#opts=ld的d表示使用压缩。关于opts可以参考官方的原话:
"opts" can contains "l" of large option, "d" of Deflate option, "b" of BZIP2 option, and "t" of TCBS option.
经过初步测试,d是速度比较快的一种了。
压缩的优点
存储空间,压缩首先给人带来的优点肯定就是节约存储空间,这点在服务器空间不足的情况下使用非常有用,当然,你在32位2G文件大小的限制下,使用压缩的话就可以存储更多的数据。
IO性能:经过压缩,数据本身变得小了,对磁盘的IO也会相应减小,如果你的磁盘IO对你的应用形成了瓶颈,那么压缩也是可以为你来带益处的。对于IO的性能提高在硬盘结构和工作方式上也能得到解释。
压缩的缺点
使用压缩肯定就会耗费CPU资源了,所以CPU和空间只是一个权衡,根据经验,一般来说使用压缩都是没有问题的。比如nginx的gzip压缩静态文件(js,css)。
ttserver的压缩跟memcached的压缩的比较
提交到了比较,肯定就有不一样的地方。ttserver使用了内部压缩,就是服务器端(ttserver)负责压缩。而memcached的压缩则是客户端进行的,memcached只是负责存储压缩后的数据。客户端client根据flag参数来确定是否解压。ttserver 是服务器负责压缩,memcache是客户端负责压缩。
ttserver输出的是解压后的数据,memcached输出的就是输入的压缩数据(数据使用压缩的情况)。这样就形成一个区别,memcached使用压缩后,由于输出的是压缩数据,会降低网络传输,而ttserver则不会有任何改变。
- Tokyo Tyrant(TTServer)系列-数据压缩
- Tokyo Tyrant(TTServer)系列-memcache协议 [
- Tokyo Tyrant(TTServer)
- Tokyo Tyrant(TTServer)系列(三)-Memcache协议
- Tokyo Tyrant(TTServer)系列-介绍、安装以及应用
- Tokyo Tyrant(TTServer)系列-启动参数和配置
- Tokyo Tyrant(TTServer)系列-启动参数和配置
- Tokyo Tyrant(TTServer)系列-介绍和安装
- Tokyo Tyrant(TTServer)系列-启动参数和配置
- Tokyo Tyrant(TTServer)系列-启动参数和配置
- Tokyo Tyrant(TTServer)系列-启动参数和配置
- Tokyo Tyrant(TTServer)系列(五)-ttserver的几种部署方式
- Tokyo Tyrant(TTServer)系列(一)-介绍和安装
- Tokyo Tyrant(TTServer)系列(二)-启动参数和配置
- Tokyo Tyrant(TTServer)系列(四)-tcrmgr远程管理与调试
- Tokyo Tyrant(TTServer)系列(六)-数据丢失谁的错
- Tokyo Tyrant(TTServer)系列-备份恢复和增加从库
- Tokyo Tyrant(TTServer)系列-高可用性和高可靠性+nginx
- 一个SQL存储过程,支持多表连接,单字段排序 仅支持SQL2005以上
- 【转】Java程序数据库连接,数据源配置,数据库连接池
- 给一个按钮加回车事件响应
- MongoDB体验
- Apache mod_jk方式使用ajp13均衡集群整合Tomcat后的ssl配置
- Tokyo Tyrant(TTServer)系列-数据压缩
- Delphi源程序格式书写规范
- svn随系统自动启动,脚本,及配置
- What is /dev/null
- ESXI + Vsphere client step by step 看图说话
- 分享
- PHP+MySQL分页示例
- 澳大利亚严词回击谷歌对其网络安全计划的批评
- 呵呵,先写写我所在的公司