用.net实现远程获取其他网站页面内容
来源:互联网 发布:手机价格评估软件 编辑:程序博客网 时间:2024/05/17 01:15
远程获取网页内容.经过一定的处理和灵活应用,可以开发成成体系网站内容采集系统.通常也叫做"新闻小偷"一般来说.做内容采集分为如下几个大致的步骤:
1.远程获取页面的全部Html源文本.
2.通过过滤处理,分析有效内容文本.(通常用正则表达式来截取有效数据)
3.将格式有效的数据,根据自己的数据库结构分标题,内容....一些其他属性保存到自己的本地数据库.
ok整个采集过程如此简单.原理也不难.下面我们看看实现的具体基础代码!
首先我们来写一个获取远程Html源的方法.
public string GetHttpData(string Url)
{
string sException=null;
string sRslt=null;
WebResponse oWebRps=null;
WebRequest oWebRqst=WebRequest.Create(Url);
oWebRqst.Timeout=50000;
try
{
oWebRps=oWebRqst.GetResponse();
}
catch(WebException e)
{
sException=e.Message.ToString();
EYResponse.Write(sException);
}
catch(Exception e)
{
sException=e.ToString();
EYResponse.Write(sException);
}
finally
{
if(oWebRps!=null)
{
StreamReader oStreamRd=new StreamReader(oWebRps.GetResponseStream(),Encoding.GetEncoding("GB2312"));
sRslt=oStreamRd.ReadToEnd();
oStreamRd.Close();
oWebRps.Close();
}
}
return sRslt;
}
以上代码为获取远程Html源的一个方法.参数仅一个.就是你要获取的目标页面的完整Url路径.返回一个string类型的Html源数据.
下面我们再来继续第二个步骤.分析自己需要的有效数据!这里我假设某个页面来做分析...
public string [] GetData(string Html)
{
String [ ] rS=new String[2];
string s = Html;
s=Regex.Replace(s,"//s{3,}","");
s=s.Replace("/r","");
s=s.Replace("/n","");
string Pat="<td align=/"center/" class=/"24p/"><B>(.*)</B></td></tr><tr>.*(<table width=/"95%/" border=/"0/" cellspacing=/"0/" cellpadding=/"10/">.*</table>)<table width=/"98%/" border=/"0/" cellspacing=/"0/" cellpadding=/"0/">(.*)<td align=center class=l6h>";
Regex Re = new Regex(Pat);
Match Ma= Re.Match(s);
if(Ma.Success)
{
rS[0]=Ma.Groups[1].ToString();
rS[1]=Ma.Groups[2].ToString();
pgStr=Ma.Groups[3].ToString();
}
return rS;
}
这个方法也很简单.主要功能及时截取获取过来的Html源.取得自己需要的数据...
参数是一个string类型的.将我们获取的html源通过参数传递过来.
在方法类通过一个正则的模式匹配找到标题和内容的位置并取出来.存入一个string的数组给方法返回...以后的事我就不多说了..你只要把你取出来的数据存到你数据库对应的字段就ok了!
- 用.net实现远程获取其他网站页面内容
- 用.net实现远程获取其他网站页面内容
- 用.net实现远程获取其他网站页面内容
- .net实现远程获取其他网站页面内容
- .net实现远程获取其他网站页面内容
- 【.Net码农】用asp.net实现远程获取其他网站页面指定内容
- 用.net实现远程获取其他网站页面内容!(核心代码分析)
- 用.net实现远程获取其他网站页面内容!(核心代码分析)
- 用.net实现远程获取其他网站页面内容!(核心代码分析)
- 用.net实现远程获取其他网站页面内容!(核心代码分析)
- 用asp.net实现远程获取其他网站页面指定内容
- 用asp.net实现远程获取其他网站页面指定内容
- ASP.net C#获取其他网站的页面内容
- .NET获取页面内容
- 借助jsoup实现从网站页面中获取指定内容
- 使用net classes访问其他网站内容
- c# 获取远程URL页面的内容
- c# 获取远程URL页面的内容
- Qt之美(三)隐式数据共享
- 内部采购网址
- 老友记第一纪第3集
- Android,对话框定时自动关闭的实现
- 一分钟经理人
- 用.net实现远程获取其他网站页面内容
- C#的EXCEL操作类
- POJ 3032 简单队列模拟
- Symbian^3开发环境配置
- MyEclipse快捷键大全
- 防病保健知识(一)
- 初来乍到!
- 让广告联盟延迟加载做法总结
- TalendOpenStudio ------ 数据导入导出工具