通过代理服务器验证后在抓取网页内容
来源:互联网 发布:js浏览器大小改变事件 编辑:程序博客网 时间:2024/06/01 09:57
C#用HttpWebRequest通过代理服务器验证后抓取网页内容 。。。。。
string urlStr = "http://www.domain.com"; //設定要獲取的地址
HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create(urlStr); //建立HttpWebRequest對象
hwr.Timeout = 60000; //定義服務器超時時間
WebProxy proxy = new WebProxy(); //定義一個網關對象
proxy.Address = new Uri("http://proxy.domain.com:3128"); //網關服務器:端口
proxy.Credentials = new NetworkCredential("f3210316", "6978233"); //用戶名,密碼
hwr.UseDefaultCredentials = true; //啟用網關認証
hwr.Proxy = proxy; //設置網關
HttpWebResponse hwrs = (HttpWebResponse)hwr.GetResponse(); //取得回應
Stream s = hwrs.GetResponseStream(); //得到回應的流對象
StreamReader sr = new StreamReader(s, Encoding.UTF8); //以UTF-8編碼讀取流
StringBuilder content = new StringBuilder(); //
while (sr.Peek() != -1) //每次讀取一行,直到
{ //下一個字節沒有內容
content.Append(sr.ReadLine()+"/r/n"); //返回為止
} //
return content.ToString() ; //返回得到的字符串
HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create(urlStr); //建立HttpWebRequest對象
hwr.Timeout = 60000; //定義服務器超時時間
WebProxy proxy = new WebProxy(); //定義一個網關對象
proxy.Address = new Uri("http://proxy.domain.com:3128"); //網關服務器:端口
proxy.Credentials = new NetworkCredential("f3210316", "6978233"); //用戶名,密碼
hwr.UseDefaultCredentials = true; //啟用網關認証
hwr.Proxy = proxy; //設置網關
HttpWebResponse hwrs = (HttpWebResponse)hwr.GetResponse(); //取得回應
Stream s = hwrs.GetResponseStream(); //得到回應的流對象
StreamReader sr = new StreamReader(s, Encoding.UTF8); //以UTF-8編碼讀取流
StringBuilder content = new StringBuilder(); //
while (sr.Peek() != -1) //每次讀取一行,直到
{ //下一個字節沒有內容
content.Append(sr.ReadLine()+"/r/n"); //返回為止
} //
return content.ToString() ; //返回得到的字符串
posted on 2007-07-14 17:56 Fooo 阅读(558) 评论(1) 编辑 收藏 所属分类: webBrowser
2007-07-14 18:14 Fooo
- 通过代理服务器验证后在抓取网页内容
- C#用HttpWebRequest通过代理服务器验证后抓取网页内容
- C#用HttpWebRequest通过代理服务器验证后抓取网页内容
- 通过Url抓取网页内容
- 通过Url抓取网页内容
- 通过Url抓取网页内容
- 通过Url抓取网页内容
- 通过Url抓取网页内容
- 通过urllib2抓取网页内容(1)
- 通过指定的URL抓取网页内容
- 通过代理服务器下载网页
- 通过代理服务器下载网页
- asp通过xmlhttp抓取网页内容不完整
- 通过java.net.Socket 类抓取网页内容
- 如何通过VC的 CHttpFile 抓取网页内容
- Java 通过 Socket 的形式抓取网页内容
- 如何通过VC的 CHttpFile 抓取网页内容
- 如何通过VC的 CHttpFile 抓取网页内容
- C# DES加密/解密字符串
- TOMCAT用户密码设置
- c#多线程抓取网页内容(转)
- Flash 8制作烟花粒子的特效代码
- 使用缓存
- 通过代理服务器验证后在抓取网页内容
- 链接时如何选择C Run-Time(CRT) library
- 在jsp和serlvle中的传递技术要点
- pku 3408 The Domino Principle
- jsp的中文处理解决方法
- 视图状态和隐藏字段
- UML和设计的关系, 孰轻孰重?!
- 一段PHP加密与解密的代码
- HTTP GET/POST请求区别
评论
HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://某家网站的验证码服务器/getimage?0.4283556984309326");
//设置一个代理
WebProxy myproxy = new WebProxy("202.101.6.85",8080);
req.Proxy = myproxy;
//获取代理服务器的回应
HttpWebResponse res = null;
try
{
res = (HttpWebResponse)req.GetResponse();
}
catch
{
MessageBox.Show("无法连接代理!");
return;
}
//判断HTTP响应状态
if(res.StatusCode != HttpStatusCode.OK)
{
MessageBox.Show("访问失败!");
res.Close();
return;
}
//获取应答流
System.IO.Stream stream = res.GetResponseStream();
//直接加载到图片(可以直接显示到图片控件)
System.Drawing.Bitmap bp = new Bitmap(stream);
//关闭应答流和服务器的应答
stream.Close();
res.Close();
//输出所有的Header(当然包括服务器输出的Cookie)
for(int ii=0;ii<res.Headers.Count;ii++)
{
MessageBox.Show(res.Headers.GetKey(ii)+":"+res.Headers[ii]);
}