Larbin:checker

来源:互联网 发布:五星体育回放软件 编辑:程序博客网 时间:2024/04/27 15:55
 1.check:
  功能:测试url是否已经在hashTable中,不在则加入相应的队列。
  实现:如果不在,则hash数量加1。
            如果是SpecificSearch,则判断文件是否是感兴趣的类型
                是的话则加入URLsPriority这个同步队列中;
                不是的话,则加入URLsDisk这个持久化的队列中;
            如果不是,则直接都加入URLsDisk这个持久化的队列中;
        如果在,则回答特定信号,并且删除此url。

2.filter1:
   功能:过滤掉配置文件larbin.conf中指定的host域和文件类型。
   实现:global中的domains是禁止的域,如果host与某个匹配上了,则返回false;
         global中的forbExt是禁止的文件类型,如果文件与某个类型匹配上了,则返回false。
         htm、html、和‘\’这三种文件类型不能被禁止。
         而前面提到的两个禁止数组,在global中被从文件中载入。
 

原创粉丝点击