网络爬虫 (spider)中 LRU算法的设计与实现

转自：《程序员》 文/ 洪伟铭

cache的所有位置都用双向链表链接起来，当一个位置被命中后，就将通过调整链表的指向将该位置调整到链表的头位置，新加入的内容直接放在链表的头上。这样，在进行过多次查找操作后，最近被命中过的内容就向链表的头移动，而没有被命中的内容就向链表的后面移动。当需要替换时，链表最后的位置就是最近最少被命中的位置，我们只需要将新的内容放在链表前面，淘汰链表最后的位置就是想了LRU算法。

LRU算法的实现

对象设计

对于Cache的每个位置，我们设计一个对象来储存对象的内容，并实现一个双向链表。

其中属性next和prev时双向链表的两个指针，key用于存储对象的键值，value用户存储要cache的对象本身。

我们使用hash算法来从cache中查找对象。

我们使用一个hashmap作为cache，用hashmap的检索机制来实现cache查找；并用head和last两个属性来记录链表的头和尾。并提供put（），getEntry（）方法来操作该cache。

算法实现

cache的put（）方法可将要缓存的内容放到cache中，在该方法中，对象调用私有方法insert（），将内容放到双向链表的头位置，如果cache满了，则将链表最后的位置淘汰掉：
pubilc boolean put(Object key,Object value){ boolean res = false; HashLinkEntry en = new HashLinkEntry(key , value); if(map.isEmpty()) { this.head = en; this.last = en; map.put(en.key,en); res = true;} else { HashLinkEntry point = this.getEntry(key); if(point = null) { point.value = value; } else { this.insert(en); res = true; } } return res;}private void insert(HashLinkEntry en) { if(map.size() >= this.maxsize) { HashLinkEntry lastprev = last.prev; if(lastprev != null) { map.remove(last.key); lastprev.next = null; last = null; last = lastprev; } else { log.error("hashlist get a null point/n" + this.toString()); } } map.put(en.key,en ); ent.next = head; head.prev = en; head = en;}
   cache的getEntry（）方法可根据输入的内容键值key来查找内容是否存在于cache中，如果命中，这个内容就是最新被使用过的，就需要放到双向链表的头位置。

   结束语

    LRU算法是cache最常用的算法之一，基于双向链表的实现方式比较容易，并可满足大容量cache的需求，在对系统性能要求越来越高的今天，良好的cache算法有着非常广泛的用途和实现意义。