扩展Heritrix的FrontierScheduler（正则表达式的应用）

来源：互联网发布：软件开发专业怎样编辑：程序博客网时间：2024/05/19 13:57

heritrix有多个扩展点，这里我扩展FrontierScheduler,它是一个PostProcessor，它的作用是在Extractor 中所分析的链接加到Frontier中。

FrontierScheduler在org.archive.crawler.postprocessor包下面，我写一个类MyFrontierScheduler来继承FrontierScheduler类，，自己写

的MyFrontierScheduler可以重新放在一个新的包里面，也可以放在父类（FrontierScheduler）的包里面，然后重写FrontierScheduler的

schedule()方法。即可简单的实现自己定制的页面抓取逻辑。

父类的schedule()方法原来是是这样的：

protected void schedule(CandidateURI caUri) {        getController().getFrontier().schedule(caUri);    }我简单的扩展了schedule()，变为下面这样的：<pre name="code" class="java">protected void schedule(CandidateURI caUri){String url=caUri.toString();url = url.toLowerCase();//設置為只抓取news.baidu.com開頭的uriif(url.startsWith("new.baidu.com")){getController().getFrontier().schedule(caUri);}}或者这样的：<pre name="code" class="java">protected void schedule(CandidateURI caUri){String uri = caUri.toString();//设置抓取规则：URI中包含qq的抓取if(!uri.contains("qq")){System.out.println(uri);//控制台打印输出getController().getFrontier().schedule(caUri);}}

主要就是正则表达式的应用！！！

1 0