网站robots.txt探测工具Parsero
来源:互联网 发布:datetimeoffset mysql 编辑:程序博客网 时间:2024/04/30 13:07
网站robots.txt探测工具Parsero
robots.txt文件是网站根目录下的一个文本文件。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当搜索引擎访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt。如果存在,搜索引擎就会按照该文件中的内容来确定访问的范围;如果该文件不存在,则会够访问网站上所有没有被口令保护的所有页面。
网站为了防止搜索引擎访问一些重要的页面,会把其所在的目录放入robots.txt文件中。所以,探测该文件,也可以获取网站的重要信息。Kali Linux提供一个小工具Parsero,可以探测指定网站的robots.txt文件,并确认实际可访问性。
PS:该工具需要用户使用apt-get命令手动安装。
0 0
- 网站robots.txt探测工具Parsero
- 网站robots.txt文件
- robots.txt测试工具
- SNS网站的ROBOTS.TXT
- robots.txt配合google网站管理员工具进行快速删除google收录
- 网站优化:robots.txt和Robots META标签
- 网站站长必须重视的robots.txt
- robots.txt用法介绍,网站优化
- 常见博客网站的robots.txt
- 网站防火墙探测工具Wafw00f
- robots.txt。
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- complete the word
- 基于NodeJs的局域网聊天室
- 重新认识java(四) — 组合、聚合与继承的爱恨情仇
- UVA 147 Dollars (完全背包)
- cgwin 安装 python包管理工具pip
- 网站robots.txt探测工具Parsero
- ffmpeg开发指南(使用 libavformat 和 libavcodec)
- JS猜数字游戏
- [洛谷1273] 有线电视网
- 2017 it 技术大会盘点 技术汪们躁起来吧!
- day12--定时器回顾
- Redis学习(二)- 常用命令
- Unix网络编程:第二章 传输层:TCP、UDP和SCTP
- pdf怎样删除其中一页简单教程