redis简介(keeper实时报表的基本部分)
来源:互联网 发布:使命召唤7优化补丁 编辑:程序博客网 时间:2024/06/06 18:51
网上有一篇介绍Redis的文章,由浅入深地讲解了Redis:http://blog.mjrusso.com/2010/10/17/redis-from-the-ground-up.html。强烈建议对Redis有兴趣或需要使用的朋友阅读这篇文章。
提到Redis,第一反应就是内存k/v缓存,并且很多人会拿它与Memcached相比较,毕竟他们都是以内存作为存储介质的。 如果简单地比较Redis与Memcached的区别,大多数都会得到以下观点:
1 Redis不仅仅支持简单的k/v类型(map类型)的数据,同时还提供list,set,hash等数据结构的存储。
2 Redis支持数据的备份,即master-slave模式的数据备份。
3 Redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用。
抛开这些,可以深入到Redis内部构造去观察更加本质的区别,理解Redis的设计。我觉得最值得参考的就是Redis的内存模型设计。推荐参考这两篇文章:Redis Virtual Memory: the Story and the Code和Redis Virtual Memory subsystem。
Redis中,不是所有的数据都一直存储在内存中。这是和Memcached明显的区别。
Redis只缓存所有的key信息,如果Redis发现内存的使用量超过了某一个阀值,就触发swap的操作,Redis根据“swappability = age*log(size_in_memory)”计算出哪些key对应的value需要swap到磁盘。然后将这些key对应的value持久化到磁盘中,同时在内存中清除。这种特性使得Redis可以保持超过其机器本身内存大小的数据。当然,机器本身的内存必须要能够保持所有的key,这些数据不会swap的。
同时由于Redis将内存数据swap到磁盘中,提供服务的主线程和进行swap操作的子线程会共享这部分内存,所以如果更新需要拿swap的数据,Redis将先阻塞这个操作,直到子线程完成swap操作后才可以进行修改。
可以参考使用Redis特有内存模型前后的情况对比:
VM off: 300k keys, 4096 bytes values: 1.3G usedVM on: 300k keys, 4096 bytes values: 73M usedVM off: 1 million keys, 256 bytes values: 430.12M usedVM on: 1 million keys, 256 bytes values: 160.09M usedVM on: 1 million keys, values as large as you want, still: 160.09M used
当从Redis中读取数据的时候,如果读取的key对应的value不在内存中,那么Redis就需要从swap文件中加载相应数据,然后再返回给请求方。这里就存在一个I/O线程池的问题。在默认的情况下,Redis会出现阻塞,即完成所有的swap文件加载后才会相应。这种策略在客户端的数量较小,进行批量操作的时候比较合适。但是如果将Redis应用在一个大型的网站应用程序中,这显然是无法满足大并发的情况的。所以Redis运行我们设置I/O线程池的大小,对需要从swap文件中加载相应数据的读取请求进行并发操作,减少阻塞的时间。
如果希望在海量数据的环境中使用好Redis,我相信理解Redis的内存设计和阻塞的情况是不可缺少的:)
- redis简介(keeper实时报表的基本部分)
- 用润乾集算报表实现实时报表(T+0)的方案
- Redis的安装以及基本操作简介
- Keeper(保密信息)
- keeper
- keeper开源客户端框架Curator简介
- 单机Redis的安装以及基本操作简介
- redis的部分问题
- 实时系统的基本特性
- 实时系统的基本特性
- 实时系统的基本特性?
- (Ryan的Redis系列博客)2.Redis简介
- 1.Redis简介与基本命令
- Redis数据库简介及基本操作
- Redis的简介
- redis的一些简介
- Redis的数据类型简介
- Redis的数据结构简介
- android手机系统adb常用的命令
- 无需密码通过ssh执行rsync来同步文件
- 转自淘宝的storm简介
- POJ_1083
- 《深入理解JAVA虚拟机》笔记
- redis简介(keeper实时报表的基本部分)
- php sprintf简单用法解释
- hadoop作业调优参数整理及原理
- 命令行环境下编译执行java程序步骤
- oracle查看系统存储过程
- 64位Windows 2008/7下配置IIS+PHP出现404.17错误的解决办法
- Android Activity
- Mysql Binlog三种格式介绍及分析(转)
- sql中的join的使用