网络爬虫排除协议robots.txt介绍及写法详解.
来源:互联网 发布:mathematica 11 mac 编辑:程序博客网 时间:2024/04/30 08:25
以上内容转载自:http://www.xgezhang.com/serach_engine_robots.html
Robots协议的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),它的功能是通过Robots文件告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,抓取的标准等。它以一个文本文件的形式放在网站的根目录中,用任何一个常见的文本编辑器都可以对其进行修改和编辑。对于站长来说,合理的书写robots.txt文件可以更合理的利用搜索引擎,屏蔽掉一些低质量的页面,提高网站质量和对搜索引擎的友好度。
具体写法如下:
(*为通配符)
Sitemap: 网站地图 告诉爬虫这个页面是网站地图
比如:
例1.禁止所有搜索引擎访问所有页面:
比如淘宝网就是这样写的,显然它不愿意搜索引擎收录太多的内页。
如果是允许所有搜索引擎访问,则把Disallow改为allow,或者直接在根目录放置一个空的robots.txt文件
例2.允许百度蜘蛛访问所有页面
allow:/
例3.禁止所有搜索引擎访问某些特定目录下的网站:
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
例4.为网站添加google site-map,比如这里添加本站的sitemap,在文件后面加上
Sitemap:http://www.xgezhang.com/sitemap.xml
写完后可以用google robots.txt检测器检测下语法是否正确,或者用一些站长工具分析一下。
如果不想自己写,网上也有robots自动生成器,也还是不错。
- 网络爬虫排除协议robots.txt介绍及写法详解.
- 网络爬虫排除协议robots.txt介绍及写法详解.
- Robots.txt协议详解
- robots.txt 禁止收录协议的写法
- robots.txt的语法和写法详解
- Python网络爬虫与信息提取-Day4-网络爬虫及Robots协议
- robots.txt写法总结
- robots.txt写法大全
- 爬虫中robots.txt
- 搜索引擎爬虫访问权限规则:robots.txt介绍
- Python 网络爬虫 010 (高级功能) 解析 robots.txt 文件
- robots.txt协议
- Web--robots.txt协议
- 爬虫Robots协议
- robots.txt 指南--介绍
- robots.txt详细介绍
- robots.txt介绍
- robots.txt介绍
- WF-在EBS中配置Notification Mailer常见错误
- win8下cocos2d-js v3.0 环境搭配
- 利用二叉树的中序遍历和后序遍历序列构造一个二叉树Search results for Construct Binary Tree from Inorder and Postorder Traversa
- QML类型说明-KeyNavigation
- sigwait()函数
- 网络爬虫排除协议robots.txt介绍及写法详解.
- relative 和 absolute 的位置区别
- Java--"1+1/2+1/3+.........的和
- iOS protocol delegate 编程规范
- drawing Curve
- 哈夫曼树应用——九度OJ题目1107:搬水果
- 通道抠像原理和实例操作
- Eclipse启动Tomcat出现错误status404
- VS2008将原有的tab空格设置为空格符号