Java宽度优先爬虫例子

来源:互联网 发布:linux下kill tomcat 编辑:程序博客网 时间:2024/06/05 18:57

Java宽度优先爬虫例子

1宽度优先遍历是爬虫中使用最广泛的一种爬虫策略.

如图:


Todo表       Visited表

A                 空
BCDEF         A
CDEF           AB
DEF             ABC

 

 

EF               ABCD
FH              ABCDE
HG              ABCDEF
GI              ABCDEFH
I                ABCDEFHG
空              ABCDEFHGI


2宽度优先遍历爬虫策略的优点:
    1重要的网页往往离种子比较
    2最到达。
    3利于爬虫合作抓取.
   
3例子
如图

 

待续..

原创粉丝点击