在互联网的世界里，我们只是一只小小的网络爬虫（Spider）

 

在互联网的世界里，我们只是一只小小的网络爬虫（Spider）。

 

从打开电脑，连上宽带的那一刻起，我们便开始了漫无边际的Surf，在这个看似虚拟又那么真实的网络世界里，我们并不知道终点在哪里，也不清楚自己此刻身在何处，更多的是像一只小小的Spider，从一个种子URL开始，不断的抓取新的URL加入到待抓取的队列中，有时候我们网上冲浪的方式采用的是基于栈的深度优先访问方式，有时候采用的是基于队列的广度优先访问方式。

 

不经意间，桌面窗口右下方毫无征兆地弹出一个小窗口，它不需要经过你的同意，这个小小的弹出窗口只不过是一次又一次地提醒你“世界上没有免费的午餐”。小窗口中的内容依然是那么的诱人，鼠标再次滑向了它，此刻，爬虫开始了没有目的地的旅程。

 

从一个URL跳到另一个URL，看着那些似乎关己，又无能为力的东西，或喜或悲，或怒或怨，偶尔停下来稍作消息，这在浩瀚的世界里留下一点声音，可是那是多么的微不足道。

 

网络带给了我们爆炸的信息量，就像无数发射向你的子弹，无处可逃。你以为你是在上网，结果发现恰好相反。

 

也许有一天，我们不再漫无目的地在互联网的大千世界里爬行，我们只关注那些“优质”的内容，就像一只“垂直爬虫”，只抓取主题相关的网页，然而我们还是免不了像爬虫一样继续没日没夜的穿梭于这大千世界，至少现在是这样。

-------------------------------------------------------
< 转载请注明：http://blog.csdn.net/icvpr >