多线程数据采集

1.  private void button3_Click(object sender, EventArgs e)
2.         {
3.             Thread firstTread = new Thread(new ParameterizedThreadStart(GatherProduct));
4.             Thread secondTread = new Thread(new ParameterizedThreadStart(GatherProduct));
5.             ArrayList arr1 = new ArrayList();
6.             arr1.Add(200);
7.             arr1.Add(300);
8.             ArrayList arr2 = new ArrayList();
9.             arr1.Add(300);
10.             arr1.Add(400);
11.             firstTread.Start(arr1);
12.             secondTread.Start(arr1);
13.             
14.    
15.         }
16.         public   void GatherProduct(object obj)
17.         {
18.             ArrayList arr = (ArrayList)obj;
20.             for (int i = Convert.ToInt32( arr[0].ToString()); i <Convert.ToInt32(  arr[1].ToString()); i++)
21.             {
22.                 
23.                 string sHtml = utility.GetPageHTML("url" + i + ".html");
24.                 Thread.Sleep(10);
25.                 string sPattern = "href=/"(?<ProductURL>[^>]*)/"//sclass=black2//starget=_blank><strong>(?<ProductName>[^<]*)</strong>";
26.                 MatchCollection matchs = Regex.Matches(sHtml, sPattern, RegexOptions.IgnoreCase | RegexOptions.Singleline);
27.                 string sPattern1 = "<TD//sheight=/"20/"//sbgcolor=/"f8f8f8/"//sclass=/"black12/"><a//shref=/"(?<CompanyURL>[^>]*)/"//sclass=orange>(?<CompanyName>[^<]*)</a></TD>";
28.                 MatchCollection matchs1 = Regex.Matches(sHtml, sPattern1, RegexOptions.IgnoreCase | RegexOptions.Singleline);
29.                 for (int j = 0; j < (matchs.Count > matchs1.Count ? matchs1.Count : matchs.Count); j++)
30.                 {
31.                     Model.pharmnetProduct productModel = new Model.pharmnetProduct();
32.                     productModel.ProductName = matchs[j].Groups["ProductName"].Value;
33.                     productModel.ProductURL = matchs[j].Groups["ProductURL"].Value;
34.                     productModel.CompanyName = matchs1[j].Groups["CompanyName"].Value;
35.                     productModel.CompanyURL = matchs1[j].Groups["CompanyURL"].Value;
36.                     new BLL.pharmnetProduct().Add(productModel);
37.                 }
38.             }
39.         }
40.  public static string GetPageHTML(string url)
41.     {
42.         HttpWebRequest wr = WebRequest.Create(url) as HttpWebRequest;
43.         try
44.         {
45.             wr.Method = "get";
46.             wr.Accept = "*/*";
47.             wr.Headers.Add("Accept-Language:   zh-cn");
48.             wr.Headers.Add("UA-CPU:   x86");
49.             wr.Headers.Add("Accept-Encoding:   gzip, deflate");
50.             wr.UserAgent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1;  Embedded Web Browser from: http://bsalsa.com/; InfoPath.2; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)";
51.             wr.KeepAlive = true;
52.             wr.ServicePoint.Expect100Continue = false;
53.             wr.AllowAutoRedirect = false;
55.             HttpWebResponse wre = wr.GetResponse() as HttpWebResponse;
56.             StreamReader sreader = new StreamReader(wre.GetResponseStream(), Encoding.Default);
57.             string sHtml = sreader.ReadToEnd();
58.             wre.Close();
59.             return sHtml;
60.         }
61.         catch (Exception ex)
62.         {
63.             throw ex;
64.         }
65.     }