基于Jsoup的爬虫中ajax获取数据的方式(post)
来源:互联网 发布:确认域名所有权纠纷 编辑:程序博客网 时间:2024/06/10 15:49
以https://www.mynextmove.org/explore/ip为例,其中所有的操作都是用ajax的post方法获取数据
public String doPost(Map<String, String> createMap, String url)
{
HttpClientUtil httpClientUtil = new HttpClientUtil();
String httpOrgCreateTest = url;
String httpOrgCreateTestRtn = httpClientUtil.doPost(httpOrgCreateTest,createMap,charset);
//System.out.println("result:"+httpOrgCreateTestRtn);
return httpOrgCreateTestRtn;
}
调用的时候,需要传入一个包含请求信息的map(懂ajax的,传入的是data的内容)和要访问的url
public static void main(String[] args)
{
//其中score和i是循环出的东西,score是需要自己写一个计算的方法的,不另附,测试可以用030201000000代替,i的范围是1-5
Map<String,String> createMap = new HashMap<String,String>();
createMap.put("page","S6");
createMap.put("subpage","");
createMap.put("results","------------------------------------------------------------");
createMap.put("scores",score);
createMap.put("zone",i+"");
createMap.put("maxvisit","R1");
createMap.put("client","");
createMap.put("random","0");
createMap.put("accessible","0");
createMap.put("submit_page_R1.x","54");
createMap.put("submit_page_R1.y","16");
String result = holland.doPost(createMap, url);
}
P.S.返回的字符串可以是json格式,也可以是网页html
如果返回的是json格式,可以设置实体类与其对应,getset属性
- 基于Jsoup的爬虫中ajax获取数据的方式(post)
- 基于Jsoup的爬虫中ajax获取数据的方式(get)
- Nodejs express获取Ajax(post方式)发送的数据
- Java爬虫进阶-Jsoup+httpclient获取动态生成的数据
- 基于crawler4j、jsoup、javacsv的爬虫实践
- 基于crawler4j、jsoup、javacsv的爬虫实践
- 基于crawler4j、jsoup、javacsv的爬虫实践
- 基于Jsoup实现的简单爬虫
- 基于crawler4j、jsoup、javacsv的爬虫实践
- 基于Jsoup实现的简单网络爬虫
- 基于crawler4j、jsoup、javacsv的爬虫实践
- Ajax的post方式提交数据
- 【Jsoup in action】模拟浏览器:post方式模拟登陆获取网页数据(二)
- 基于Post的AJAX
- get/post 方式,form/数据的获取
- ashx 获取post数据的方式
- [ahk]爬虫基础 post数据获取网站上的图片(获取艺术签名)
- jsoup获取ajax动态加载的页面
- 书籍
- Java安全架构____RSA加密
- 卷积神经网络CNN的详细解读,及经典分类网络LeNet5的介绍
- 云计算的三种服务模式:IaaS,PaaS和SaaS
- 在MySQL中操作数据表
- 基于Jsoup的爬虫中ajax获取数据的方式(post)
- 人人都可以做深度学习应用:入门篇(下)
- 解决SVN安装语言包后无法选择中文的问题
- javascript如何设置DIV背景色为随机色
- 老板说
- 使用redis数据库报错: MISCONF Redis is configured to save RDB snapshots
- [2017纪中11-6]拆网线 树型DP/二分图匹配
- 微信登录--跳转问题
- SUST--vj的基本输入输出训练