爬取js动态生成后的数据
来源:互联网 发布:mac口红哪个适合秋冬 编辑:程序博客网 时间:2024/06/08 05:39
1、静态的数据:页面右键选择查看源代码,然后能够在源代码中看到的数据
2、动态的数据:源代码中没有的数据
3、想要获得动态数据解决方案:获得他的action连接和参数,就可以得到动态数据
实例如下:http://www.creditchina.gov.cn/search_all#keyword=&searchtype=0&templateId=1&creditType=8&page=1 中的失信被执行人列表
要想获得action连接需要
1、按F12选择Network栏的XHR,他是空白的
2、按F5刷新一下就好了,就会出现这个东西
3、点击那个东西,会出现这个
4、header中就有action连接和参数,要想复制参数需要点击From Data的view source会变成行状的
5、打开http://www.creditchina.gov.cn/credit_info_search?keyword=&searchtype=0&objectType=2&areas=&creditType=8&dataType=1&areaCode=&templateId=1&exact=0&page=1查找到的就是json数据,你需要的动态数据了,这个连接放到你的java代码中就可以爬出来了
String Starturl = "http://www.creditchina.gov.cn/credit_info_search?keyword=&searchtype=0&objectType=2&areas=&creditType=8&dataType=1&areaCode=&templateId=1&exact=0&page=1"; Document doc = Jsoup.connect(Starturl).userAgent("bbb").timeout(120000).ignoreContentType(true).get();System.out.println(doc);
阅读全文
0 0
- 爬取js动态生成后的数据
- 【动态生成表格】ajax成功返回后,使用js,取到数据动态生成表格2017
- 利用scrapy-splash爬取JS生成的动态页面
- scrapy-splash爬取JS生成的动态页面
- HtmlUnit爬取动态数据(js相关)
- htmlunit爬取Ajax动态生成的网页获取不到生成后的结果的问题的解决
- 如何在神箭手上快速开发爬虫——第二课 如何爬取JS动态生成的数据【豌豆荚游戏排行榜】
- 如何在神箭手上快速开发爬虫——第二课 如何爬取JS动态生成的数据【豌豆荚游戏排行榜】
- 用scrapy爬取网页时网页JS动态生成的问题解决办法
- python爬取ajax动态生成的数据 以抓取淘宝评论为例子
- 通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据
- python爬取ajax动态生成的数据 以抓取淘宝评论为例子
- 动态数据爬取
- 2种方法简单爬取JS加载的动态数据
- WebCollector爬取JS加载的数据
- WebCollector爬取JS加载的数据
- js动态添加删除,后台取数据
- JAVA 爬虫获取js动态生成的网页数据
- appium===Python+Appium环境部署教程
- nginx安装与配置
- Luogu 1074(DFS)(NOIP 2009)
- Percona XtraBackup 安装介绍篇
- SCXML和QScxml使用总结
- 爬取js动态生成后的数据
- 公司的服务类型简介
- git add, commit, push如何撤销
- 水平分库分表的关键步骤和技术难点
- Volley的框架解读五(网络调度NetworkDispatcher)
- [dataTables使用的坑]dataTables和angular的结合
- python3正确安装scipy
- 一脸懵逼学习MapReduce的原理和编程(Map局部处理,Reduce汇总)
- extern "c"用法解析