Nutch1.7学习笔记7：Robots协议处理流程

说明：通常来说，网络爬虫应该遵循网站所描述的robots协议。因此，任何网络爬虫都有关于robots协议部分的处理。

分析入口：Robot相关处理的入口位于Fetcher.java的L676，如下所示：

BaseRobotRules rules = protocol.getRobotRules(fit.url, fit.datum);



Fetcher抓取每个URL之前都会先查看系统之前是否已经获取了URL所对应的robots协议，如果已经获取了，则检查该URL是否符合robots协议的规则，如果不符合，则会跳过该URL不抓取。如下：

if(!rules.isAllowed(fit.u.toString())) {

// unblock

fetchQueues.finishFetchItem(fit,true);

if (LOG.isDebugEnabled()) {

LOG.debug("Denied byrobots.txt: " + fit.url);

}

output(fit.url, fit.datum, null, ProtocolStatus.STATUS_ROBOTS_DENIED, CrawlDatum.STATUS_FETCH_GONE);

reporter.incrCounter("FetcherStatus", "robots_denied", 1);

continue;

}

getRobotRules的过程如下：

网站所对应的Robot规则放在Hashtable<String,BaseRobotRules>缓存里，其中String键为协议和子域名的组合，BaseRobotRules值为该URL所对应的Robot规则。如当爬取http://www.apache.org/时，String的值就为http:www.apache.org。

如果是第一次访问这个域名时，那么通过该URL获取出来就是空null，此时将以该URL为基础生成一个获取robot的URL，如http://www.apache.org/robots.txt。然后发送HTTP请求获取该robot协议并调用RobotRulesParser.parseRules来解析。 解析成功后，就将其放入HashTable的缓存中。解析Robot协议的代码是引用的一个叫crawler-commons的第三方库，该库也是开源的，可以在https://code.google.com/p/crawler-commons/找到。Nutch1.7使用的是crawler-commons-0.2版本。

如果没有找到该robots.txt，那么系统将用默认的空规则，也就是允许抓取所有的页面。同时也将其作为该URL对应的规则放入HashTable缓存，这样下次访问该子域名的时候不用重复获取Robot规则，直接取出来进行判断即可。