爬虫如何抓取到asp.net中-dopostback获取新页面的数据
来源:互联网 发布:天猫 淘宝商城小冰箱 编辑:程序博客网 时间:2024/05/20 04:46
在Web 2.0时代,很多网站采用AJAX技术实现,带来较好用户体验的代价是,Javascript得到的内容搜索引擎无法爬到,Google也正在研究此种技术。本文讨论Asp.Net程序生成的链接,爬虫如何能爬进去的问题。
问题:某网站出现的数据列表分页显示,而上一页和下一页都是用__doPostBack提交到后台处理,如javascript:__doPostBack(ucInfoListMore$gridInfoList$_ctl21$_ctl1,),我们根本得不到他绝对链接的地址,而且每一页得下一页传入的参数是一样的。
分析:我们首先理解__doPostBack做了哪些事情。
function __doPostBack(eventTarget, eventArgument) {
var theform;
if (window.navigator.appName.toLowerCase().indexOf("netscape") > -1) {
theform = document.forms["Form1"];//注意此处的FormID
} else {
theform = document.Form1;//还有此处
}
theform.__EVENTTARGET.value = eventTarget.split("$").join(":");
theform.__EVENTARGUMENT.value = eventArgument;
theform.submit();
}
明白了吧,问题就在.__EVENTTARGET(后台处理的事件)和__EVENTARGUMENT上。这样就简单了,我们可以给这两个参数赋值,然后向后台发送Post就可以了。那么如何指定某一页呢,Asp.Net在后台是以Session方式保存当前页信息的,我们在Post得时候能够保证实在同一个会话中进行的就可以了。
问题:某网站出现的数据列表分页显示,而上一页和下一页都是用__doPostBack提交到后台处理,如javascript:__doPostBack(ucInfoListMore$gridInfoList$_ctl21$_ctl1,),我们根本得不到他绝对链接的地址,而且每一页得下一页传入的参数是一样的。
分析:我们首先理解__doPostBack做了哪些事情。
function __doPostBack(eventTarget, eventArgument) {
var theform;
if (window.navigator.appName.toLowerCase().indexOf("netscape") > -1) {
theform = document.forms["Form1"];//注意此处的FormID
} else {
theform = document.Form1;//还有此处
}
theform.__EVENTTARGET.value = eventTarget.split("$").join(":");
theform.__EVENTARGUMENT.value = eventArgument;
theform.submit();
}
明白了吧,问题就在.__EVENTTARGET(后台处理的事件)和__EVENTARGUMENT上。这样就简单了,我们可以给这两个参数赋值,然后向后台发送Post就可以了。那么如何指定某一页呢,Asp.Net在后台是以Session方式保存当前页信息的,我们在Post得时候能够保证实在同一个会话中进行的就可以了。
- 爬虫如何抓取到Asp.Net中-doPostBack获取新页面的数据
- 爬虫如何抓取到asp.net中-dopostback获取新页面的数据
- 如何抓取到Asp.Net中-doPostBack获取新页面的数据
- ASP.Net将用户导航到新页面的方法
- ASP.NET打开新页面
- asp.net各种打开新页面的方式总结
- .NET 中如何弹出新页面,而不出现阻止
- ASP.NET打开新页面总结
- ASP.NET打开新页面总结
- 新页面中返回到上次浏览的页面位置
- ASP.net中通过HyperLink的NavigateUrl属性传递参数,与新页面的Page_Load()接收参数
- 如何在WordPress中添加一个自定义的新页面
- asp.net c# 打开新页面或页面跳转&&获取时间
- Asp.net数据抓取
- Asp.net数据抓取
- ASP.NET中如何动态获取表的字段来填充到DropDownList中
- asp.net的抓取网页数据源码
- 网站每天被抓取新页面的经验心得ccxtqj
- 在PB中通过读取硬盘序列号
- 关闭DNS查询功能
- Stairway To Heaven
- Joomla! 1.5.8发布
- Oracle的系统服务出错解决方法
- 爬虫如何抓取到asp.net中-dopostback获取新页面的数据
- 使用concole时,不被con的输出干扰
- 几个Flex教程
- 在S3C2410的6寸LCD驱动在linux2.6上的移植
- 六级词汇天天练(11.11)
- 现实是什么?
- 光棍节的一天
- Ruby on rails开发从头来(windows)(七)-创建在线购物页面(修正原版错误)
- delphi心得,看书来的