爬取js动态生成后的数据

来源:互联网 发布:mac口红哪个适合秋冬 编辑:程序博客网 时间:2024/06/08 05:39

1、静态的数据:页面右键选择查看源代码,然后能够在源代码中看到的数据

2、动态的数据:源代码中没有的数据

3、想要获得动态数据解决方案:获得他的action连接和参数,就可以得到动态数据

实例如下:http://www.creditchina.gov.cn/search_all#keyword=&searchtype=0&templateId=1&creditType=8&page=1 中的失信被执行人列表

要想获得action连接需要

1、按F12选择Network栏的XHR,他是空白的


2、按F5刷新一下就好了,就会出现这个东西


3、点击那个东西,会出现这个


4、header中就有action连接和参数,要想复制参数需要点击From Data的view source会变成行状的


5、打开http://www.creditchina.gov.cn/credit_info_search?keyword=&searchtype=0&objectType=2&areas=&creditType=8&dataType=1&areaCode=&templateId=1&exact=0&page=1查找到的就是json数据,你需要的动态数据了,这个连接放到你的java代码中就可以爬出来了


 String Starturl = "http://www.creditchina.gov.cn/credit_info_search?keyword=&searchtype=0&objectType=2&areas=&creditType=8&dataType=1&areaCode=&templateId=1&exact=0&page=1";            Document doc = Jsoup.connect(Starturl).userAgent("bbb").timeout(120000).ignoreContentType(true).get();System.out.println(doc);



阅读全文
0 0