设计并实现一个LRU Cache
来源:互联网 发布:mac有格式工厂吗 编辑:程序博客网 时间:2024/04/29 19:33
一、什么是Cache
1 概念
Cache,即高速缓存,是介于CPU和内存之间的高速小容量存储器。在金字塔式存储体系中它位于自顶向下的第二层,仅次于CPU寄存器。其容量远小于内存,但速度却可以接近CPU的频率。
当CPU发出内存访问请求时,会先查看 Cache 内是否有请求数据。
- 如果存在(命中),则直接返回该数据;
- 如果不存在(失效),再去访问内存 —— 先把内存中的相应数据载入缓存,再将其返回处理器。
提供“高速缓存”的目的是让数据访问的速度适应CPU的处理速度,通过减少访问内存的次数来提高数据存取的速度。
2 原理
Cache 技术所依赖的原理是”程序执行与数据访问的局部性原理“,这种局部性表现在两个方面:
- 时间局部性:如果程序中的某条指令一旦执行,不久以后该指令可能再次执行,如果某数据被访问过,不久以后该数据可能再次被访问。
- 空间局部性:一旦程序访问了某个存储单元,在不久之后,其附近的存储单元也将被访问,即程序在一段时间内所访问的地址,可能集中在一定的范围之内,这是因为指令或数据通常是顺序存放的。
时间局部性是通过将近来使用的指令和数据保存到Cache中实现。空间局部性通常是使用较大的高速缓存,并将 预取机制 集成到高速缓存控制逻辑中来实现。
3 替换策略
Cache的容量是有限的,当Cache的空间都被占满后,如果再次发生缓存失效,就必须选择一个缓存块来替换掉。常用的替换策略有以下几种:
随机算法(Rand):随机法是随机地确定替换的存储块。设置一个随机数产生器,依据所产生的随机数,确定替换块。这种方法简单、易于实现,但命中率比较低。
先进先出算法(FIFO, First In First Out):先进先出法是选择那个最先调入的那个块进行替换。当最先调入并被多次命中的块,很可能被优先替换,因而不符合局部性规律。这种方法的命中率比随机法好些,但还不满足要求。
最久未使用算法(LRU, Least Recently Used):LRU法是依据各块使用的情况, 总是选择那个最长时间未被使用的块替换。这种方法比较好地反映了程序局部性规律。
最不经常使用算法(LFU, Least Frequently Used):将最近一段时期内,访问次数最少的块替换出Cache。
4 概念的扩充
如今高速缓存的概念已被扩充,不仅在CPU和主内存之间有Cache,而且在内存和硬盘之间也有Cache(磁盘缓存),乃至在硬盘与网络之间也有某种意义上的Cache──称为Internet临时文件夹或网络内容缓存等。凡是位于速度相差较大的两种硬件之间,用于协调两者数据传输速度差异的结构,均可称之为Cache。
二、LRU Cache的实现
Google的一道面试题:
Design an LRU cache with all the operations to be done in
1 思路分析
对一个Cache的操作无非三种:插入(insert)、替换(replace)、查找(lookup)。
为了能够快速删除最久没有访问的数据项和插入最新的数据项,我们使用 双向链表 连接Cache中的数据项,并且保证链表维持数据项从最近访问到最旧访问的顺序。
插入:当Cache未满时,新的数据项只需插到双链表头部即可。时间复杂度为
O(1) .替换:当Cache已满时,将新的数据项插到双链表头部,并删除双链表的尾结点即可。时间复杂度为
O(1) .查找:每次数据项被查询到时,都将此数据项移动到链表头部。
经过分析,我们知道使用双向链表可以保证插入和替换的时间复杂度是
2 代码实现
从上述分析可知,我们需要使用两种数据结构:
- 双向链表(Doubly Linked List)
- 哈希表(Hash Table)
下面是LRU Cache的 C++ 实现:
#include <iostream>#include <unordered_map>using namespace std;// 双向链表的节点结构struct LRUCacheNode { int key; int value; LRUCacheNode* prev; LRUCacheNode* next; LRUCacheNode():key(0),value(0),prev(NULL),next(NULL){}};class LRUCache{private: unordered_map<int, LRUCacheNode*> m; // 代替hash_map LRUCacheNode* head; // 指向双链表的头结点 LRUCacheNode* tail; // 指向双链表的尾结点 int capacity; // Cache的容量 int count; // 计数public: LRUCache(int capacity); // 构造函数 ~LRUCache(); // 析构函数 int get(int key); // 查询数据项 void set(int key, int value); // 未满时插入,已满时替换private: void removeLRUNode(); // 删除尾结点(最久未使用) void detachNode(LRUCacheNode* node); // 分离当前结点 void insertToFront(LRUCacheNode* node); // 节点插入到头部};LRUCache::LRUCache(int capacity){ this->capacity = capacity; this->count = 0; head = new LRUCacheNode; tail = new LRUCacheNode; head->prev = NULL; head->next = tail; tail->prev = head; tail->next = NULL;}LRUCache::~LRUCache(){ delete head; delete tail;}int LRUCache::get(int key){ if(m.find(key) == m.end()) // 没找到 return -1; else { LRUCacheNode* node = m[key]; detachNode(node); // 命中,移至头部 insertToFront(node); return node->value; }}void LRUCache::set(int key, int value){ if(m.find(key) == m.end()) // 没找到 { LRUCacheNode* node = new LRUCacheNode; if(count == capacity) // Cache已满 removeLRUNode(); node->key = key; node->value = value; m[key] = node; // 插入哈希表 insertToFront(node); // 插入链表头部 ++count; } else { LRUCacheNode* node = m[key]; detachNode(node); node->value = value; insertToFront(node); }}void LRUCache::removeLRUNode(){ LRUCacheNode* node = tail->prev; detachNode(node); m.erase(node->key); --count;}void LRUCache::detachNode(LRUCacheNode* node){ node->prev->next = node->next; node->next->prev = node->prev;}void LRUCache::insertToFront(LRUCacheNode* node){ node->next = head->next; node->prev = head; head->next = node; node->next->prev = node;}
个人站点:http://songlee24.github.com
- 设计并实现一个LRU Cache
- 设计并实现一个LRU Cache (java)
- 如何设计实现一个LRU Cache?
- 如何设计实现一个LRU Cache?
- 设计一个LRU cache
- 如何设计一个LRU Cache
- 如何设计一个LRU Cache?
- 如何设计一个LRU Cache?
- 如何设计一个LRU Cache?
- 如何设计一个LRU Cache?
- 如何设计一个LRU Cache?
- 如何设计一个LRU Cache?
- 如何设计一个LRU cache
- 如何设计一个LRU Cache?
- 如何设计一个LRU Cache?
- 如何设计一个LRU Cache?
- 如何设计一个LRU Cache
- 如何设计一个LRU Cache?
- MFC静态文本控件设置超链接
- js: navigator.plugin对象
- 实用算法的分析与程序设计——递归法(实例,代码)(划分问题、0-1背包问题)
- CSS3的REM设置字体大小
- 浅谈JAVA设计模式之——解析器模式(Interpreter)
- 设计并实现一个LRU Cache
- 联想ThinkPad Fn与Ctrl 互换
- 第八周项目三 分数类中的运算符重载1
- android 下拉刷新菜单库 johannilsson/android-pulltorefresh
- ios 自制跑马灯
- 删除链表给定元素值
- 调侃《Head First设计模式》之模板方法模式
- 玩命牛的成长记录(十六)——评估
- 关于集合Set的总结