robots.txt。
来源:互联网 发布:php require文件路径 编辑:程序博客网 时间:2024/04/26 06:22
robots.txt文件是放在网站的根目录下,作用是告诉搜索引擎网站的哪些文件,哪些目录可以被索引,哪些不要索引。因此,这个文件是相当的重要,正确书写好robots.txt文件,可以保证你的网页被搜索引擎正确地索引、收录。
书写robots.txt文件时,要使用纯文本的编辑器,使文件是纯文本的格式。robots.txt文件的结构还是比较简单的。它是由一行一行的纪录组成,每行由两个部份组成:
<Field> : <value>
<Field> 有两种,一个是User-agent,一个是Disallow
User-agent代表搜索引擎的名字,比如:
User-agent:googlebot
User-agent:Baiduspider
也可以用通配符*来代表任何的搜索引擎,即User-agent:*
Disallow代表要限制的文件或目录,比如:
Disallow:error.html
Disallow:/cgi-bin/
Disallow支持通配符,Disallow:/eagle 代表/eagle.html或/eagle/index.html都将被屏蔽。
一些例子如下:
允许所有的搜索引擎索引所有的文件
User-agent: *
Disallow:
不允许任何的搜索引擎索引任何文件
User-agent: *
Disallow: /
允许任何的搜索引擎,但禁止索引/cgi-bin/和/images/目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
禁止Google索引所有的文件
User-agent: googlebot
Disallow: /
可以直接察看网站的robots.txt文件,看看别人是如何写的。
百度的robots.txt
User-agent: Baiduspider
Disallow: /baiduUser-agent: *
Disallow: /shifen/dqzd.html
Google的robots.txt可就长的多了。
- robots.txt。
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- robots.txt
- Robots.txt指南
- Robots.txt指南
- robots.txt用法
- 用24个显示器玩Quake3(视频)
- 网站被Google拔毛了?告它!
- javaRMI使用入门程序及配置
- XmlHttp技术资料
- 介绍JPCAP的基础文章[ZT]
- robots.txt。
- 反spam与spam间的较量 -
- Tomcat5.5.9的安装配置
- 自己用HttpWebRequest写的一个天气预报小偷
- [精华]史上最强买笔记本电脑专业精粹导购指南,让奸商彻底晕菜!
- 出租司机给我上的MBA课
- OpenSource就是好!
- 在Tomcat下JSP、Servlet和JavaBean环境的配置(1.4.2+4.1.X)
- Symbian好景不长 将被Linux和微软产品超越