采集html代码的问题

各网页的html的编码及压缩方式都不一样，对于一般的网页采用简单的设置就可以 webclinet就OK

但有些网页却不行。它采用了Gzip的压缩方式。因此要采用多元化的采集。。

          WebClient wba = new WebClient();         //一定要加以下二行。否则部分网页采集出错 。          wba.Headers.Add("Accept-Encoding", "gzip, deflate");          wba.Headers.Add("User-Agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MS-RTC LM 8; InfoPath.2; .NET4.0C; .NET4.0E)");          byte[] sts = wba.DownloadData("http://www.39.net/");          return Encoding.GetEncoding(0).GetString(sts);

建议使用HttpRequest来下载html代码，他能自动地解压 Gzip

 必须 User-Agent和Accept-Encodingr 
有这两个header就能获取 

HttpWebRequest 能自动解码 gzip 和 deflate的压缩