Memcache mutex设计模式
来源:互联网 发布:上海勤拙网络 续费 编辑:程序博客网 时间:2024/05/16 17:42
周六的S2 Web 2.0技术沙龙上介绍了memcache中使用mutex场景(文后有演讲稿),有网友对详情感兴趣,简单介绍如下。
场景
Mutex主要用于有大量并发访问并存在cache过期的场合,如
- 首页top 10, 由数据库加载到memcache缓存n分钟
- 微博中名人的content cache, 一旦不存在会大量请求不能命中并加载数据库
- 需要执行多个IO操作生成的数据存在cache中, 比如查询db多次
问题
在大并发的场合,当cache失效时,大量并发同时取不到cache,会同一瞬间去访问db并回设cache,可能会给系统带来潜在的超负荷风险。我们曾经在线上系统出现过类似故障。
解决方法
方法一
在load db之前先add一个mutex key, mutex key add成功之后再去做加载db, 如果add失败则sleep之后重试读取原cache数据。为了防止死锁,mutex key也需要设置过期时间。伪代码如下
(注:下文伪代码仅供了解思路,可能存在bug,欢迎随时指出。)
if (memcache.get(key) == null) { // 3 min timeout to avoid mutex holder crash if (memcache.add(key_mutex, 3 * 60 * 1000) == true) { value = db.get(key); memcache.set(key, value); memcache.delete(key_mutex); } else { sleep(50); retry(); }}
方法二
在value内部设置1个超时值(timeout1), timeout1比实际的memcache timeout(timeout2)小。当从cache读取到timeout1发现它已经过期时候,马上延长timeout1并重新设置到cache。然后再从数据库加载数据并设置到cache中。伪代码如下
v = memcache.get(key);if (v == null) { if (memcache.add(key_mutex, 3 * 60 * 1000) == true) { value = db.get(key); memcache.set(key, value); memcache.delete(key_mutex); } else { sleep(50); retry(); }} else { if (v.timeout <= now()) { if (memcache.add(key_mutex, 3 * 60 * 1000) == true) { // extend the timeout for other threads v.timeout += 3 * 60 * 1000; memcache.set(key, v, KEY_TIMEOUT * 2); // load the latest value from db v = db.get(key); v.timeout = KEY_TIMEOUT; memcache.set(key, value, KEY_TIMEOUT * 2); memcache.delete(key_mutex); } else { sleep(50); retry(); } }}
相对于方案一
优点:避免cache失效时刻大量请求获取不到mutex并进行sleep
缺点:代码复杂性增大,因此一般场合用方案一也已经足够。
方案二在Memcached FAQ中也有详细介绍 How to prevent clobbering updates, stampeding requests,并且Brad还介绍了用他另外一个得意的工具 Gearman 来实现单实例设置cache的方法,见 Cache miss stampedes,不过用Gearman来解决就感觉就有点奇技淫巧了。
本文转载:http://timyang.net/programming/memcache-mutex/
cache演讲稿下载: http://download.csdn.net/source/2963648
或者联系 liuzhoulong@163.com
- Memcache mutex设计模式
- Memcache mutex设计模式
- Memcache mutex设计模式
- 关于Memcache mutex设计模式的.net实现
- 关于Memcache mutex设计模式的.net实现
- Memcache mutex设计模式[高并发解决方案]
- 分布式锁实现方式三 基干Memcache mutex设计模式
- 关于memcache实现Mutex模式的解析
- 设计模式 Concurrency 之 Mutex 互斥锁
- Scope Lock模式线程Mutex
- 设计模式之PHP项目应用——单例模式设计Memcache和Redis操作类
- Mutex
- Mutex
- mutex
- Mutex
- Mutex
- Mutex
- Mutex
- matlab中plot用法
- ConnectionPool.java
- linux run java application
- 读“程序员的七种武器”随记
- JS跳转
- Memcache mutex设计模式
- Android2.3 源码下载并分析
- Asp.net 中session存储的三种模式的具体运用
- 开始学习vim
- [Mysql]主从同步的快速设置
- centos5.5+nginx0.9.5+mysql5.5.9+php5.2.13 安装笔记
- Java环境配置(详细+图)
- Android学习笔记(六):xml和widget
- MySQL 日期查询