C#程序设计之多线程爬虫程序

一、简单介绍：
技术方面主要包括：
（1）技术选型：
1） 课程设计使用的开发语言是C#。
2）课程设计选用了文件流方式获取网站数据。
3）课程设计使用多线程抓取网页代码。
4）课程设计使用了正则表达式对源码进行解析处理。

(2)程序运行流程：
通过图示可以更形象的了解程序运行的整个流程：
1）程序首先下载网站首页的源代码
2）对首页源代码进行分析，提取出网站建设类目下的链接并存储到队列中。
3）运用多线程，分别同时下载队列中的链接。
4）利用正则表达式对下载的链接源码进行分析。提取图片的URL并下载图片。截取需要的文本信息。
5）保存下载的文本和图片。把下载分析链接的信息显示在操作界面上。

程序的整体流程：

二、再贴代码：

using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.Text;using System.Windows.Forms;using System.Collections;using System.Threading;using System.Net;using System.IO;using System.Text.RegularExpressions;using System.Diagnostics;namespace crawlWebsiteAndExtractInfo{    public partial class frmCrawlWebsite : Form    {        public static Queue<String> q = new Queue<string>();        public static string[] surl = new string[100];       //照片冗余        public static int a = 0;        public static int j = 0;        //public static int m = 0;        public static bool b = false;        public static object locker = new object();//添加一个对象作为锁        public static object locker1 = new object();        public static object locker2 = new object();        public static object locker3 = new object();        public static Stopwatch watch = new Stopwatch();        public static bool flag=true;        public static string textbox = string.Empty;        public int Num=5;         //string[] surl = new string[300];        public frmCrawlWebsite()        {            InitializeComponent();        }        private void btnCrawlAndExtract_Click(object sender, EventArgs e)        {            //获得网址            //http://www.hyzbi.com            string urlToCrawl = txbUrlToCrawl.Text;            //HTTP请求            HttpWebRequest req = (HttpWebRequest)WebRequest.Create(urlToCrawl);            //GET方法            req.Method = "GET";            //获得HTTP回复            HttpWebResponse resp = (HttpWebResponse)req.GetResponse();            //定义编码方式            string htmlCharset = "utf-8";            //编码方式            Encoding htmlEncoding = Encoding.GetEncoding(htmlCharset);            StreamReader sr = new StreamReader(resp.GetResponseStream(), htmlEncoding);            //显示html内容            string respHtml = sr.ReadToEnd();            rtbExtractedHtml.Text = respHtml;        }        private void btnExtractInfo_Click(object sender, EventArgs e)        {            //找到网站建设类目下面的连接                     string h1userP = @"/portal/article/index/cid/19/id/(\d+)";            //捕获匹配            MatchCollection foundH1user = (new Regex(h1userP)).Matches(rtbExtractedHtml.Text);            foreach (Match m in foundH1user)            {                string url = "http://www.hyzbi.com" + (string)m.Value;                q.Enqueue(url);            }            Thread[] downloadThread;//声名下载线程            downloadThread = new Thread[21];//为线程申请资源，确定线程总数            //int i=0;           // richTextBox1.Text = "aaa";            watch.Start();            for (int i = 0; i <Num; i++)            {                ThreadStart startDownload = new ThreadStart(DownLoad);                //ParameterizedThreadStart startDownload = new ParameterizedThreadStart(DownLoad);                downloadThread[i] = new Thread(startDownload);//指定线程起始设置                downloadThread[i].Start();//逐个开启线程            }            //while (q.Count != 0) ;        }        public delegate void ProcessDelegate();        public void richTextShow(string ss)        {            string s=ss;            richTextBox1.Text=s;        }        public void picture(string rrh)        {            string rh = rrh;            string pp = @"src\s*=\s*[""']?([^'"" >]+?)[ '""][^>]*?>";            MatchCollection found = (new Regex(pp)).Matches(rh);            foreach (Match mm in found)            {                string urll = "http://www.hyzbi.com" + (string)mm.Groups[1].Value;                int id = Array.IndexOf(surl, urll);                //exists = ((IList)surl).Contains(urll);                if (id == -1)                {                    surl[a] = urll;                    a++;                    try                    {                        Bitmap img = null;                        HttpWebRequest req = (HttpWebRequest)(WebRequest.Create(urll));                        req.Method = "GET";                        HttpWebResponse res = (HttpWebResponse)(req.GetResponse());                        img = new Bitmap(res.GetResponseStream());                        lock (locker3)                        {                            img.Save(@"e:/c/" + a + ".jpg");                        }                        //m++;                    }                    catch (Exception ee)                    {                    }                }            }        }       // public void picture save()        public string wenben(string rrh)        {            string rh = rrh;            //抓取标题            //string hstrOutput=null;            string bt = @"<h2>(.*)</h2>";            //StreamWriter sw = new StreamWriter("e:/b.txt", true);            //MatchCollection bbt = (new Regex(bt)).Matches(rh);            Match nnn = (new Regex(bt)).Match(rh);           // foreach (Match nn in bbt)            //{                //richTextBox1.Text += nn.Value + "\n";                Regex hregex = new Regex("<.+?>", RegexOptions.IgnoreCase);                string hstrOutput = hregex.Replace(nnn.Value, "");//替换掉"<"和">"之间的内容                hstrOutput = hstrOutput.Replace("<", "");                hstrOutput = hstrOutput.Replace(">", "\r");                hstrOutput = hstrOutput.Replace(" ", "");               // sw.WriteLine(hstrOutput);               // sw.WriteLine("\n");           // }                string p = @"<p.*>(<span .*>)?(.*)(</span>)?</p>";                MatchCollection tp = (new Regex(p)).Matches(rh);                lock (locker)                {                    StreamWriter sw = new StreamWriter("e:/b.txt", true);                    sw.WriteLine(hstrOutput);                    sw.WriteLine("\n");                    //StreamWriter sw = new StreamWriter("e:/b.txt", true);                    //string p = @"<p.*>(<span .*>)?(.*)(</span>)?</p>";                    //MatchCollection tp = (new Regex(p)).Matches(rh);                    foreach (Match n in tp)                    {                        Regex regex = new Regex("<.+?>", RegexOptions.IgnoreCase);                        string strOutput = regex.Replace(n.Value, "");//替换掉"<"和">"之间的内容                        strOutput = strOutput.Replace("<", "");                        strOutput = strOutput.Replace(">", "\r");                        strOutput = strOutput.Replace(" ", "");                        //sw.WriteLine(n.Groups[0].Value);                        sw.WriteLine(strOutput);                        sw.WriteLine("\n");                    }                    sw.Close();                }            return hstrOutput;        }        public  void DownLoad()        {                while (true)                {                    string url;                    string h2;                    if (q.Count != 0)                    {                        lock (locker1)                        {                            url = q.Dequeue();                            j++;                        }                        //richTextBox1.Text = url;                        try                        {                            HttpWebRequest rr = (HttpWebRequest)WebRequest.Create(url);                            rr.Method = "GET";                            HttpWebResponse resp = (HttpWebResponse)rr.GetResponse();                            string htmlCharset = "utf-8";                            Encoding htmlEncoding = Encoding.GetEncoding(htmlCharset);                            StreamReader sr = new StreamReader(resp.GetResponseStream(), htmlEncoding);                            string rh = sr.ReadToEnd();                            picture(rh);                            h2 = wenben(rh);                            lock (locker2)                            {                                ProcessDelegate showProcess = delegate()                                {                                    richTextBox1.AppendText(url + h2 + DateTime.Now.ToString() + "\n");                                };                                richTextBox1.Invoke(showProcess);                            }                        }                        catch (Exception eee)                        {                        }                    }                    else                    {                       /* flag = false;                        watch.Stop();                        string time = watch.ElapsedMilliseconds.ToString();                        ProcessDelegate showTime = delegate()                        {                            richTextBox1.AppendText("共用时" + time + "\n");                        };                        richTextBox1.Invoke(showTime);*/                        break;                    }                }        }       // }        private void button1_Click(object sender, EventArgs e)        {            //string path1 = @"e:\c";  //打开D盘下的log.txt文件            //System.Diagnostics.Process.Start(path1);            string path2 = @"e:\c";  //调用资源管理器，打开e盘下的c文件夹            System.Diagnostics.Process.Start("explorer", path2);        }        private void button2_Click(object sender, EventArgs e)        {                string path1 = @"e:\b.txt";                System.Diagnostics.Process.Start("explorer",path1);        }        private void button3_Click(object sender, EventArgs e)        {            try            {                textbox = this.textBox1.Text;                Num = Convert.ToInt32(textbox);            }            catch (Exception eee)            {            }        }    }}

三、多说一点：
（1）文件流方式：
C#中通常有三种方法获取网页内容。第一种方式为：使用webclient、第二种方式为：webBrowser、第三种方式为HttpWebRequest/HttpWebResponse
。此次程序设计中选用的是第三种方式即HttpWebResquest/HttpWebResponse方式。这是一种比较通用的获取方式。
（2）c#中的多线程：
在Visul C#中System.Threading 命名空间提供一些使得可以进行多线程编程的类和接口，其中线程的创建有以下三种方法：Thread、ThreadPool、Timer。
本次课程设计中选用的是Thread方式。这也许是最复杂的方法，但它提供了对线程的各种灵活控制。首先你必须使用它的构造函数创建一个线程实例，它的参数比较简单，只有一个ThreadStart 委托：
public Thread(ThreadStart start);
然后调用Start（）启动它。
（3）正则表达式：
在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要。正则表达式就是用于描述这些规则的工具。换句话说，正则表达式就是记录文本规则的代码。
在此次课程设计中，使用了正则表达式对网页的源码进行截取和分析，以获得想要的数据信息。
程序流程详解：
（1）程序使用文件流方式从首页hyzbi.com中下载整个页面的源代码。
（2）通过使用正则表达式，将网站建设类目下的网页URL截取下来，并保存在一个队列中。
（3）启用多线程，每个线程中从队列中拿取一个URL。此时此时使用了互斥锁，避免线程冲突。线程每拿取一个URL就将队列中的URL记录删除，避免重复下载。线程中同样运用文件流的方式下载网页URL的源代码。并封装了两个函数，分别对应图片和文本的下载分析。
当线程工作完成时，将完成时间以及完成项目显示在操作界面上。
（4）对于图面的解析，使用正则表达式截取网页URL中所有的图片URL。把图片URL保存在数组中，美获得一个URL就和数组中的项比较，有重复项就舍弃，无重复项就下载，这样就做到了图片的冗余，避免下载重复的图片。
（5）对于文本的解析，则使用了正则表达式的截取和替代。在文本的保存上，也加了一个互斥锁，使同一时刻只有一个线程可以访问本地文件保存文本。
四、程序运行结果：
1、主程序界面

2、爬取的网站中的图片信息：

3、爬取的网站中的文本信息：

四、更多了解：
完整的代码及设计说明我已上至资源，手戳这里是链接儿
【注】程序中指定了爬取的网站网址
不知为什么贴的代码，移动端看，csdn的编辑器会出乱码？？？
我看了一下，电脑上看，显示的代码是正确的，最好把代码从我的资源中下下来看，没有问题。