模拟登录微博通，抓取新浪微博c#

在前天我到公司就接到一个惊人的消息，说是新浪1.0的搜索接口关闭了，那我们的业务岂不是受很大影响，这个事太紧急了，大家在一起商讨该怎么办，跟新浪买2.0的接口肯定时间很长，最后决定抓取新浪网页的，新浪网页未登录状态10分钟只能抓取不到200次，然后就让你手动输入验证码了，很显然，这个方案有落空了。然后我们想是否有其他的办法，后来去看孔明和微博通，这俩家居然正常跑，就把我乐坏了。稍微研究了下，发现抓取还很容易，然后决定搞微博通的。为什么放弃孔明了，因为孔明的微博默认都是不带图片的，你还得抓一次，一次带图片的，一次不带图片的，然后倆者拼在一起才算有效数据。

废话少说，下面的东西就在俩个小时内完成了。

一、首先我们要提到模拟登录微博通，我用fiddler查看了下，发现登录走下面三个流程：

1、第一个请求地址：http://www.wbto.cn/?c=login&m=index_login ，这个请求是Post提交的，生成一个用户身份唯一标识的cookie，但是这个cookie不全，需要下面一个请求来补全，那么下面一个请求的地址从哪来了？从第一个post请求返回

2、第二个请求地址：http://www.wbto.cn/bbs/api/uc.php?time=1350530131&code=9888GfRzqS0FVoZFT1EoH6UsF0JklnvPdaiKrhN%2FD5BPYdzdwzyBTIbk5roC8YVn9AeTjsNFDqD1LONBwdGCQqjL%2BqX6uqSXUT6w9Si6JOlNA5BFLYEHIfl1A96Cf5bACA4O447xUah%2FM9JxMc47qOFtlnjjqWSRb%2FNPNMrJsxjCuex8V6Wri%2Ft8ZP7Q87s8，这个请求地址在上面描述了，是第一个Post请求返回的，下面代码里会演示如何获取。

3、第三个请求地址：http://www.wbto.cn 这个是登录地址，其实第二个请求完成后，用户身份标识的cookie已经完全形成，那么拿着这个cookie就可以访问任何一个页面了，包括首页以及我们主要关心的微博搜索页。

下面来上代码，完成上面的描述，很简单，如下：

（1 ）我们先定义一个全局变量：

    

 private static CookieContainer cc = new CookieContainer();

（2 )模拟第一个post请求：

/// <summary>        /// 模拟post请求        /// </summary>        /// <param name="url">Post请求后会返回下一次get请求的地址</param>        /// <param name="cookie">返回的cookie</param>        /// <param name="nick">用户昵称/邮箱</param>        /// <param name="password">用户登录密码</param>        /// <returns></returns>        public void SimulatePost(string nick,string password, out string url,out string cookie)        {            HttpWebRequest req = null;            HttpWebResponse rep = null;            Stream stream = null;            try            {                string postdata = "action=submit&to=/&username={0}&password={1}&cookietime=2592000";                postdata = string.Format(postdata, nick, password);             //拼装数据                string LoginUrl = "http://www.wbto.cn/?c=login&m=index_login";  //登录地址                #region 信息头                req = (HttpWebRequest)WebRequest.Create(LoginUrl);                req.Method = "POST";                req.ContentType = "application/x-www-form-urlencoded";                byte[] postdatabytes = Encoding.UTF8.GetBytes(postdata);                req.ContentLength = postdatabytes.Length;                req.Referer = "http://www.wbto.cn/";                req.AllowAutoRedirect = false;                req.CookieContainer = cc;                req.KeepAlive = true;                #endregion                #region 提交数据并返回COOKIE                stream = req.GetRequestStream();                stream.Write(postdatabytes, 0, postdatabytes.Length);                rep = (HttpWebResponse)req.GetResponse();                cc = req.CookieContainer;                cookie = req.CookieContainer.GetCookieHeader(req.RequestUri);  //字符串形式的COOKIE跟你在浏览器看到的一样                StreamReader stre = new StreamReader(rep.GetResponseStream(), Encoding.GetEncoding("utf-8"));                #endregion                string html = stre.ReadToEnd();                url = html.Substring(html.IndexOf("src=\"") + 5, (html.IndexOf("\"", html.IndexOf("src=\"") + 5) - html.IndexOf("src=\"") - 5));                rep.Close();                stream.Close();            }            catch             {                if (rep != null)                {                    rep.Close();                }                if (stream != null)                {                    stream.Close();                }                url = null;                cookie = null;            }        }

（3） 模拟第二个请求：

 /// <summary>        /// 模拟Get请求        /// </summary>        /// <param name="url">请求地址</param>        /// <param name="cookie">cookie对象</param>        /// <param name="cookieStr">cookie字符串</param>        /// <param name="host">host，可选</param>        /// <param name="newCookie">新的cookie字符串</param>        /// <returns></returns>        public string SimulateGet(string url, CookieContainer cookie,string cookieStr, string host,out string newCookie)        {            string json = string.Empty;            HttpWebRequest req = null;            HttpWebResponse rep = null;            Stream st = null;            try            {                req = req = (HttpWebRequest)HttpWebRequest.Create(url);                req.ContentType = "application/x-www-form-urlencoded";                req.Method = "Get";                req.Timeout = 1000 * 30;                if (!string.IsNullOrEmpty(host))                    req.Host = host;                req.Referer = "http://www.wbto.cn/?c=login&m=index_login";                req.CookieContainer = cookie;                req.Headers.Add("Cookie:" + cookieStr);                rep = (HttpWebResponse)req.GetResponse();                newCookie = req.CookieContainer.GetCookieHeader(req.RequestUri);                st = rep.GetResponseStream();                StreamReader stre = new StreamReader(st, Encoding.GetEncoding("utf-8"));                json = stre.ReadToEnd();            }            catch            {                if (rep != null)                {                    rep.Close();                }                if (st != null)                {                    st.Close();                }                newCookie = null;            }            return json;        }

这里讲一下，当我们第二个请求完成后，我前面讲过cookie已经完全形成了，这个时候你拿着这个cookie就可以访问任何一个页面了，所以聪明的你会发现，第二个方法是通用的，你可以接着用他请求其他的地址，只要传入正确的请求地址和cookie字符串即可。

下面贴上最后一段代码，是我测试用的，如下：

结束：搞定。这个只是一个简单的写法，各位朋友看着改即可。