网络爬虫排除协议robots.txt介绍及写法详解.
来源:互联网 发布:航天科技 知乎 编辑:程序博客网 时间:2024/04/30 11:20
Robots协议的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),它的功能是通过Robots文件告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,抓取的标准等。它以一个文本文件的形式放在网站的根目录中,用任何一个常见的文本编辑器都可以对其进行修改和编辑。对于站长来说,合理的书写robots.txt文件可以更合理的利用搜索引擎,屏蔽掉一些低质量的页面,提高网站质量和对搜索引擎的友好度。
具体写法如下:
(*为通配符)
User-agent: * 代表的所有的搜索引擎种类,
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以”.htm”为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图
比如:
例1.禁止所有搜索引擎访问所有页面:
User-agent: *
Disallow: /
比如淘宝网就是这样写的,显然它不愿意搜索引擎收录太多的内页。
如果是允许所有搜索引擎访问,则把Disallow改为allow,或者直接在根目录放置一个空的robots.txt文件
例2.允许百度蜘蛛访问所有页面
User-agent: Baiduspider
allow:/
例3.禁止所有搜索引擎访问某些特定目录下的网站:
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
例4.为网站添加google site-map,比如这里添加本站的sitemap,在文件后面加上
Sitemap:http://www.xgezhang.com/sitemap.xml
写完后可以用google robots.txt检测器检测下语法是否正确,或者用一些站长工具分析一下。
如果不想自己写,网上也有robots自动生成器,也还是不错。
转载地址:http://www.xgezhang.com/serach_engine_robots.html
0 0
- 网络爬虫排除协议robots.txt介绍及写法详解.
- 网络爬虫排除协议robots.txt介绍及写法详解.
- Robots.txt协议详解
- robots.txt 禁止收录协议的写法
- robots.txt的语法和写法详解
- Python网络爬虫与信息提取-Day4-网络爬虫及Robots协议
- robots.txt写法总结
- robots.txt写法大全
- 爬虫中robots.txt
- 搜索引擎爬虫访问权限规则:robots.txt介绍
- Python 网络爬虫 010 (高级功能) 解析 robots.txt 文件
- robots.txt协议
- Web--robots.txt协议
- 爬虫Robots协议
- robots.txt 指南--介绍
- robots.txt详细介绍
- robots.txt介绍
- robots.txt介绍
- 设置oracle数据库密码永不过期(ORA-28002)
- IAR 负数问题
- 删除searchBar 背景
- 腾讯万台规模的Docker应用实践
- 黑马程序员——反射和类的加载
- 网络爬虫排除协议robots.txt介绍及写法详解.
- 涨停板经典战法
- NTFS For Mac如何传输数据和删除数据
- selenium打开firefox打开为导入向导问题解决。
- hive load data
- iOS开发之获取系统相册中的图片与视频(内带url转换)
- Android Looper和Handler
- angular.element方法汇总(转)以及AngularJS 动态添加元素和删除元素
- 开发中常用服务集合(已完结)