网络爬虫的实现思路

网络爬虫

一般我们在网络上抓取数据时，都会想到要使用网络爬虫，那我们就来看看一般网络爬虫的实现思路。

---

设计模式

爬虫的中心思想就是以最初一个Url为注入点，从这个Url抓取更多Url，并从这些网页中获取自己想要的数据。所以，我们可以使用一个队列来存储这些Url，然后使用 生产者消费者模式来对这个队列进行维护。

Queue<string> urlQueue=new Queue<string>();public void AddUrl(string url){    lock(this)    {        urlQueue.Enqueue(url);    }}public string GetUrl(){    lock(this)    {        string url="";        if(urlQueue.Count>0)        {            url=urlQueue.Dequeue();        }        return  url;    }}

使用多线程能够更有效率的抓取数据，但是容易互相抢资源，所以要上锁。
目前我想到的多线程模式有两种，一种是 spider从队列中获取一个Url，然后从对应的网页获取其他Url和数据。另一种是分成专门生产Url的spider和专门从网页中抓取数据的spider。这里选第一种举例。
我们可以使用一个SpiderManager来管理所有的Spider，每一个Spider专门开一条线程来工作。

public class SpiderManager{    List<Spider> spiders;    Queue<string> urlQueue=new Queue<string>();    public void AddUrl(string url)    {        lock(this)        {            urlQueue.Enqueue(url);        }    }    public string GetUrl()    {        lock(this)        {            string url="";            if(urlQueue.Count>0)            {                url=urlQueue.Dequeue();            }            return  url;        }    }    public void Stop()    {        foreach(Spider spider in spiders)        {            spider.Stop();        }    }}

public class Spider{    int restTime=1000;休眠间隔    Thread workingThread;    SpiderManager spiderManager    public Spider(SpiderManager sm)    {        this.spiderManager=sm;    }    pubclic void Start()    {        workingThread=new Thread(Work);        workingThread.Start();    }    private void Work()    {        while(true)        {            string url=sm.GetUrl();            if(url=="")            {                Sleep(restTime);                Continue;            }            //抓取数据        }    }    public void Stop()    {        if(workingThread!=null)        {            workingThread.Abort();            workingThread=null;        }    }}

---

URL查重

一般来说我们不想重复的抓取同一张网页，这个时候就需要查重技术了。
我们可能会使用hash表来存储对应的url，这的确能够解决一部分问题。但如果我们要抓取的数据量非常大的话，hash表就满足不了我们的需求了，这个时候我们就可以使用布隆过滤器来进行查重。

布隆过滤器（Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率（假正例False positives，即Bloom Filter报告某一元素存在于某集合中，但是实际上该元素并不在集合中）和删除困难，但是没有识别错误的情形（即假反例False negatives，如果某个元素确实没有在该集合中，那么Bloom Filter 是不会报告该元素存在于集合中的，所以不会漏报）。

布隆过滤器实际上一个很长的二进制和随机映射函数。首先，将这个二进制中的数据全设为0，然后将我们url使用随机映射函数映射到这个二进制中的随即八个位置，将他们设为1。如果要查看url是否重复，可以就可以查看对应的位置是否均为1。这样就能节省非常多的空间，对于5000w级的url，只占用200mb的空间，缺点是有可能会误判。不过误判的几率非常低，如果在意的话可以建立白名单来补救。

---

优化

如果我们进行大量并发的抓取数据的话，可能在一条队列中会阻塞很久，我们可以多开几条队列,并使用标志位来分流。

如果抓取大量数据的话，可能还会使用分布式的架构来抓取，那分布式的话应该是怎样呢。分布式的话就需要考虑到不同机器之间的通信，以及容错。通信的话可以使用Socket来进行网络间的通信。

• 爬虫控制中心:控制整个爬虫系统
• 集群控制中心:控制整个集群，集群中的每个机器都和集群控制中心通信

集群中心将任务分派给不同机器，并且与机器进行心跳连接。如果机器连接超时，则认为机器宕机，将该机器上的任务取回分派给其他机器。