JAVA编写网络爬虫笔记（第一部分:URL链表的结构）

一开始拿到写爬虫的任务还是挺迷茫的，没什么头绪，甚至还不知道什么是爬虫，要怎样写。于是，在网上找到了《自己动手写爬虫》的这本书，花了几天的时间去看，略有小成就。

一、我们要理解一下一个简单爬虫实现的原理：通过URL下载网页代码并解析找到我们所需要的内容，并通过这网页上的链接访问其他URL，重复操作。在这里就要说一下URL是什么：其实就是我们要访问的网页地址（存储在服务器上的一个文件）。

二、我们分析完原理后，就要设计这个项目的代码结构了。首先，我们要有一个类来输入URL然后测试，这个类我写成了MyCrawler类。第二，既然是要下载网页的代码，就要有一个DownloadFile类，功能是给它一个URL，把这个URL的网页源代码下载到本地。第三，我们要访问这个网页的URL，就要先获取这个网站上的所有URL，存放到一个未访问链接的表中，并且访问其中的URL后，就把已访问的URL放到已访问链表中，下次访问URL的时候先判断这个URL是否在未访问链表中，是就访问，否就跳过并进行下一次访问，于是就设计了两个这样的表：Queue(一个链表，里面有入列，出列，判断等等方法)和LinkQueue()（里面有visitedurl和unvisitedurl两个成员变量和入列，出列，判断等方法）

三、设计好代码结构后，就到代码的具体实现了，第一部分我就把链表的结构详细展示给大家看
Queue.java (把URL保存到链表中主要的目的是方便增加，删除，判断)

import java.util.LinkedList;public class Queue {    /**     * 队列，保存将要访问的URL     * */    //使用链表实现队列    private LinkedList queue =new LinkedList();    //入队列    public void enQueue(Object t){        queue.addLast(t);    }    //出队列    public Object deQueue(){        return queue.removeFirst();    }    //判断队列是否为空    public boolean isQueueEmpty(){        return queue.isEmpty();    }    //判断队列是否包含t    public boolean contians(Object t){        return queue.contains(t);    }    public boolean empty(){        return queue.isEmpty();    }}

LinkQueue.java（把visitedUrl声明为HashSet结构是因为，已访问的url列表中不存在两个相同的URL）

import java.util.HashSet;import java.util.Set;public class LinkQueue {        //已访问的url集合    public static Set visitedUrl=new HashSet();    //待访问的url集合    public static Queue unVisitedUrl=new Queue();    //获得URL队列    public static Queue getUnVisitedUrl(){        return unVisitedUrl;    }    //添加到访问过的URL队列中    public static void addVisitedUrl(String url){        visitedUrl.add(url);    }    //移除访问过的url    public static void removeVisitedUrl(String url){        visitedUrl.remove(url);    }    //未访问的URL出队列    public static Object unVisitedUrlDeQueue(){        return unVisitedUrl.deQueue();    }    //保证每个URL只被访问一次    public static void addUnvisitedUrl(String url){        if(url!=null &&!visitedUrl.contains(url)&&                !unVisitedUrl.contians(url)){            unVisitedUrl.enQueue(url);        }    }    //获得已经访问 的URL数目    public static int getVisitedUrlNum(){        return visitedUrl.size();    }    //判断未访问的URL队列中是否为空    public static boolean unVisitedUrlsEmpty(){        return unVisitedUrl.empty();}}

关于怎样通过访问URL去下载网页到本地，请留意第二部分。