ASP实现远程抓取网页到本地数据库
来源:互联网 发布:mac电源适配器灯不亮 编辑:程序博客网 时间:2024/05/29 13:20
接到一个任务是把中国名牌网站的某些内容添加到我们的网站上,这些网站上有些页面是文章链接列表,点击链接会出现文章的详细内容显示页,根据这个规律,结合正则表达式,XMLHTTP技术,Jscript服务端脚本,以及ADO技术,写了一个小程序,把这些内容抓取到了本地数据库。抓取下来,然后就数据库对数据库导数据就比较方便了。先建立一个Access数据库,结构如下
Id 自动编号 标识,主键
oldID 数字 旧数据编码
Title 标题 文本
Content 备注 内容
<HEAD>
<TITLE> 抓取文章</TITLE>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312"></HEAD>
<BODY>
<%=GetLinks(GetData())%>
</BODY>
</HTML>
Id 自动编号 标识,主键
oldID 数字 旧数据编码
Title 标题 文本
Content 备注 内容
具体实现代码如下
<%@LANGUAGE="JSCRIPT" CODEPAGE="936"%><!-- METADATA NAME="Microsoft ActiveX Data Objects 2.5 Library"TYPE="TypeLib" UUID="{00000205-0000-0010-8000-00AA006D2EA4}" --><% //打开数据库 try { var strConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + Server.MapPath("#db.mdb"); var objConnection = Server.CreateObject("ADODB.Connection"); objConnection.Open(strConnectionString); } catch(e) { Response.Write(e.description); Response.End(); }%>
<script language="jscript" runat="server">//远程获取数据function GetData(){ var xHttp = new ActiveXObject("microsoft.xmlhttp"); xHttp.open("POST","http://kukusoft.net/",false); xHttp.send(); return(xHttp.responseText);}//利用正则表达式提取符合条件的链接function GetLinks(str){ var re = new RegExp("<a[^<>]+?\>((.|\n)*?)<\/a>", "gi"); var a = str.match(re); //第一次搜索 for(var i=0;i<a.length;i++) { var t1,t2; var temp; var r = /qy.php\?id=(\d+)/ig; if(!r.test(a[i]))continue; temp = a[i].match(/qy.php\?id=(\d+)/ig); t1 = RegExp.$1; temp = a[i].match(/<font[^<>]+?color=\"#000000\"\>(.*?)<\/font>/ig); t2 = RegExp.$1; if(t1 == t2)continue; SaveArticle(t1,t2,GetContent(t1)); }}//通过提取的链接获取ID,并通过这个ID取抓取相应的文章function GetContent(id){ var xHttp = new ActiveXObject("microsoft.xmlhttp"); xHttp.open("POST","http://kukusoft.net/qy.php?id=" + id,false); xHttp.send(); var str = xHttp.responseText; var re = new RegExp("<span[^<>]+?style=\"font-size:10\.8pt\">(.*?)<\/span>", "gi"); var a = str.match(re); return(RegExp.$1);}//入库function SaveArticle(oldID,Title,Content){ var oRst = Server.CreateObject("ADODB.Recordset"); var sQuery; sQuery = "SELECT oldID,Title,Content FROM Articles" oRst.Open(sQuery,objConnection,adOpenStatic,adLockPessimistic); oRst.AddNew(); oRst("oldID") = oldID; oRst("Title") = Title; oRst("Content") = Content; oRst.Update(); oRst.Close(); Response.Write(Title + "抓取成功" + "<br>");}</script><HTML>
<HEAD>
<TITLE> 抓取文章</TITLE>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312"></HEAD>
<BODY>
<%=GetLinks(GetData())%>
</BODY>
</HTML>
下一步就是,把这个Access的数据库的内容导入到服务器的数据库里了,但是还有一些东西,就是原来的文章是分类的,所以导入的时候还得手工分类,因为在分析链接的时候正则表达式本来写就很麻烦,但还算严谨,如果把分类也用正则表达式解析的话,会很麻烦,因为分类是包含在<td>里面的,而那个页的<td>标签又很多,要想定位分类文字所在的<td>会很麻烦,即便写出来,程序也会失去灵活性,变得难以维护,所以现在只做到了这一步。
0 0
- 用ASP实现远程抓取网页到本地数据库
- 用ASP实现远程抓取网页到本地数据库
- 用ASP实现“远程抓取网页到本地数据库”
- ASP实现远程抓取网页到本地数据库
- ASP.Net中抓取网页到本地数据库
- 用ASP.NET实现下载远程图片保存到本地的方法 保存抓取远程图片的方法
- 用ASP.NET实现下载远程图片保存到本地的方法 保存抓取远程图片的方法
- PHP抓取远程图片保存到本地的实现方法
- 用ASP实现抓取图片到本地服务器
- ASP.NET下载远程图片保存到本地的方法、保存抓取远程图片
- 抓取远程文件并保存到本地
- PHP抓取远程图片到本地
- 将远程图片抓取到本地
- 抓取远程图片到本地,小实例
- PHP抓取远程图片到本地保存
- 抓取远程图片保存到本地
- PHP抓取远程图片到本地
- 备份远程数据库到本地
- HTML5 CSS3网站在老IE中也能浏览的方法
- 【amazing cocos2d-x 3.0之七】数据结构Vector
- thttpd: unknown user - 'www'
- 唐慧之女被迫卖淫案:老板警校出身 警察是嫖客?
- java程序员快速学c++
- ASP实现远程抓取网页到本地数据库
- 大数据时代你不得不了解的大数据处理工具
- Password management in Django 密码管理,记忆线索
- 驱动人生2014 v6.0.9.70 绿色版
- 多线程中的数据结构使用
- C++流 rdbuf()以及seekg()/seekp()与tellg()/tellp()的用法详解
- 贝叶斯学习--极大后验假设学习
- 0、开始 DirectX 的游戏编程
- Dexpot破解版 v1.6.12 绿色版