java爬虫的坑
来源:互联网 发布:甲骨文和java的关系 编辑:程序博客网 时间:2024/06/05 08:16
-登录页面所有的空都要填上属性,登录页面所有的空都要填上属性,登录页面所有的空都要填上属性。
比如用户名,密码,是否记住密码三个需要填写的,若不将“是否记住密码”这个弄成false或者true,我的程序显示status500,找了一下午都没找到原因。微笑中透露着妈卖批。
-要获取数据不一定非得用parser等函数去解析网页本身,用response类型返回的结果,会有意想不到的效果。jsoup固然强大,类似jquery选择器的select固然可以反复选择直到选到想要的元素,但是,麻烦麻烦麻烦啊!
--------------------------------------------更新线------------------------------------------------
-post密码的时候要注意是否经过js加密处理,若已经加密处理,去想获得的页面F12下面查看form-data下传过来的正确的密码。
-form-data的内容一定要带全,否则就会出错,错误可能为status500.jsoup可以直接.data("key","value")。
-json格式储存在mysql中要用转义字符,可以弄一个函数来特殊处理json串
-code200只能说明服务器正确处理了你的请求,并不一定就是你预想的结果。
-GET和POST方法选错会导致错误status500,比如正确请求是POST,你却在浏览器中直接输入了URL(用抓包工具分析,确实是GET),就会返回status500.
阅读全文
0 0
- java爬虫的坑
- Java的网络爬虫
- Java写的爬虫
- java写的爬虫
- 简单的JAVA爬虫
- java的简单爬虫
- 几个Java的网络爬虫
- 几个Java的网络爬虫
- 简单的java爬虫程序
- Java网络爬虫的实现
- Java网络爬虫的实现
- JAVA网络爬虫的实现
- Java 简单的BFS爬虫
- Java网络爬虫的实现
- Java网络爬虫的实现
- Java网络爬虫的实现
- Java网络爬虫的实现
- java实现的简单爬虫
- 基础4
- 实验1-ADS1.2的使用
- Arbitrage(0699)
- table动态添加、删除tr
- 2017计蒜之道初赛第一场
- java爬虫的坑
- 基于水色图像的水质评价
- C++抽象编程——内存模式(2)——函数调用机制
- 算法导论 钢条切割问题
- Spring 源码粘贴9 MVC
- 在github上搭建个人网站
- 求最小生成树(Prim算法)(1075)
- 杂篇之1-字符串与int类型的相互转化
- Wireless Network(POJ-2236)