C# 网站数据采集网易NBA列表页面数据(新闻首页)源码

来源:互联网 发布:电热毯 水暖毯 知乎 编辑:程序博客网 时间:2024/05/16 15:24
  string url = "http://sports.163.com/special/00051CA1/nbagd.html";
            string oWebResponses = "";
            HttpWebRequest oWebRequest = (HttpWebRequest)WebRequest.Create(url);
            oWebRequest.Timeout = 50000;
            oWebRequest.Method = "GET";
            using (var oWebResponse = (HttpWebResponse)oWebRequest.GetResponse())
            {
                if (oWebResponse != null && oWebResponse.StatusCode == HttpStatusCode.OK)
                {
                    Encoding enc = System.Text.Encoding.GetEncoding("GB2312");
                    Stream responseStream = oWebResponse.GetResponseStream();
                    if (responseStream != null)
                    {
                        var loResponseStream = new StreamReader(responseStream, enc);
                        oWebResponses = loResponseStream.ReadToEnd();


                        //截取字符串




                    }


                }
            }
            //     Console.WriteLine(oWebResponses);
          //  StringBuilder sbuilder = new StringBuilder();
            List<Ext> list =new List<Ext>();
string regstr="<li><span class=\"articleTitle\"><a href=\"(?<url>[^\"]*)\" target=\"_blank\">(?<title>[^<]*)</a></span>.*<span class=\"postTime\">(?<date>[^<]*)</span></li>";
            foreach (Match mch in Regex.Matches(oWebResponses, regstr))
            {
                //sbuilder.Append(mch.Groups["url"].Value);
                Ext es = new Ext();
                es.Url = mch.Groups["url"].Value;
                es.Title = mch.Groups["title"].Value;
                es.date = mch.Groups["date"].Value;


                list.Add(es);


            }


            foreach (Ext e in list)
            {
                Console.WriteLine(e.Url+";"+e.Title+";"+e.date);
            }
           
            Console.ReadKey();
原创粉丝点击