反抓取演变
来源:互联网 发布:淘宝商品自动下架了 编辑:程序博客网 时间:2024/06/03 23:03
第一招:小聪明一下,判断来访的是浏览器来的否,不是就把它跳转到网站的一些与数据无关的页面。这招没有过多久,人们就开始模仿浏览器或者google、baidu 这样的爬虫。招数过时。
第二招:设置登陆,需要登陆之后才能看到有用的数据。但是很快就有人在抓取之前模拟先做登陆这一道程序。招数失败。
第三招:设置验证码,这招对用户体验不好。弥补一下,把验证码定到访问N次以上再输验证码。没过多久人们开始找代理IP 设置一个IP数组,动态循环。招数失败。
第四招:这招和第二招的效果基本是一样,监测一个IP在一段时间的访问次数,如果访问次数超过N就把它跳转到错误页面或者提醒它访问太频繁。随着第二招被破也就失败了。
第五招:使用cookie记录用户的访问信息,当用户的访问太频繁的时候就给验证码。但是最后自己又摸索出来一条路子,就是用按键精灵控制360定时删除cookie。自我觉得这招不安全,再想其他的招数。
第六招:把数据中的 重要信息 加密或者转化成图片,随后自己又把别人加密的数据和图片数据给解析。还是不够安全。
0 0
- 反抓取演变
- 反介入/区域拒止:现代战争的演变
- php爬虫抓取信息及反爬虫相关
- php爬虫抓取信息及反爬虫相关
- php爬虫抓取信息及反爬虫相关
- 数据抓取之反爬虫规则:验证码识别
- 网络爬虫/数据抓取,反爬虫(更新版)
- Nginx反爬虫攻略:禁止某些User Agent抓取网站
- 抓取
- 抓取
- 数据抓取之反爬虫规则:使用代理和http头信息
- 数据抓取之反爬虫规则:CSRF防御处理及异步请求处理
- Rootkit演变
- 架构演变
- 协议演变
- 架构演变
- 自反,反自反
- 游戏引擎演变史
- 特种浓缩分离:倒极电渗析技术工作原理
- SQL(DML)语句语法
- iOS开发笔记-UITableViewCell分割线
- ViewPager+Fragment_简单版
- 01全局App的实现和数据库的创建&&自定义日志工具
- 反抓取演变
- linux启用root用户登录
- JS面试题及答案
- WebService到底是什么?
- 面试题21:包含min函数的栈
- python 学习笔记(十八)
- 孤独的骑士
- oracle group 语句探究(笔记)
- 二哥的内存