抓取信息
来源:互联网 发布:敏感肌护肤 知乎 编辑:程序博客网 时间:2024/04/29 18:00
HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(url); HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse(); Stream stream = webResponse.GetResponseStream(); StreamReader reader = new StreamReader(stream, System.Text.Encoding.GetEncoding("GB2312")); //整个页面内容 textBox2.Text = reader.ReadToEnd();
利用C#实现web信息自动抓取
背景
随着Internet的普及,网络信息正以极高的速度增长,在这么多数据中找到自己需要的信息是一件很繁琐的事情,找到需要的信息后如何获取也是件麻烦的事。这就需要Internet信息抓取程序来代替人工的操作。
所谓Internet信息抓取程序,就是程序会按照用户的关键词或关键网站来收集相应的信息,并提供给用户想要的信息格式。
信息量的增加会带来信息网站发布人员工作量的剧增,为实现信息发布系统实现信息自
动发布、减少工作人员工作量、即时跟踪最新信息,就需要自动信息提供程序,因此Internet信息抓取程序应运而生。
目标
实现自定义网站信息分类抓取,存入本地数据库、生成静态页面或其它用户定义的信息结构,并下载与信息相关的多媒体文件。
开发
目标站点结构分析
本步骤是准确抓取信息个关键。
首先要选择更新频率高的页面做为抓取地址,然后分析要抓取内容页面url特点。
然后分析要抓取信息页面的元素特性,比如标题位置,内容位置 等,得到定位标记点。
将以上信息写成自己的配置文件或存到数据库中。
每个网站都需要分析,写出单独的配置文件,供抓取程序使用。
信息提取
根据配置文件取得要抓取页面url,使用HttpWebRequest类获取内容:
//获取http页面函数
public string Get_Http(string a_strUrl,int timeout)
{
string strResult ;
try
{
HttpWebRequest myReq = (HttpWebRequest)HttpWebRequest.Create(a_strUrl) ;
myReq.Timeout = timeout;
HttpWebResponse HttpWResp = (HttpWebResponse)myReq.GetResponse();
Stream myStream = HttpWResp.GetResponseStream () ;
StreamReader sr = new StreamReader(myStream , Encoding.Default);
StringBuilder strBuilder = new StringBuilder();
while (-1 != sr.Peek())
{
strBuilder.Append(sr.ReadLine()+"/r/n");
}
strResult = strBuilder.ToString();
}
catch(Exception exp)
{
strResult = "错误:" + exp.Message ;
}
return strResult ;
}
资讯来源:中国IT实验室,责任编辑:不详,投稿信箱:editor#xinfengit.com(请将#替换成@)
- 抓取信息
- 页面信息抓取
- 网站信息抓取
- java抓取天气预报信息
- 抓取豆瓣影视信息
- java HtmlParser 抓取信息
- 招聘信息抓取系统
- 网页信息抓取
- linux抓取堆栈信息
- [Python]网页信息抓取
- 网络信息抓取资源
- Perl抓取网页信息
- Paros 抓取iPhone信息。
- 暗网信息抓取
- 抓取信息参考
- fiddler 抓取模拟器信息
- 抓取车辆信息
- 抓取腾讯股票信息
- 在线课堂:PHP的模板应用Smarty
- 成功
- 基于C语言数据结构 一些错误
- 开通眷顾
- 好消息,带新人了。
- 抓取信息
- 乔布斯在斯坦福大学的演讲感悟
- bool型变量
- 正则表达式(C#)
- 实训第二天
- 全面剖析XMLHttpRequest对象(转)
- 更换桌面图标字体
- 自定义View做的一个Clock案例
- JDBC学习资料收集