设置不被搜索引擎收录
来源:互联网 发布:主机测试显示器软件 编辑:程序博客网 时间:2024/05/18 02:57
上传robot.txt到你的网站根目录。
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。另外,robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
robots.txt写作语法首先,我们来看一个robots.txt范例:http://www.seovip.cn/robots.txt访问以上具体地址,我们可以看到robots.txt的具体内容如下:# Robots.txt file fromhttp://www.seovip.cn# All robots will spider the domainUser-agent: *Disallow:以上文本表达的意思是允许所有的搜索机器人访问www.seovip.cn站点下的所有文件。具体语法分析:其中#后面文字为说明信息;User-agent:后面为搜索机器人的名称,后面如果是*,则泛指所有的搜索机器人;Disallow:后面为不允许访问的文件目录。下面,我将列举一些robots.txt的具体用法:允许所有的robot访问User-agent: *Disallow:或者也可以建一个空文件 "/robots.txt" file禁止所有搜索引擎访问网站的任何部分User-agent: *Disallow: /禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录)User-agent: *Disallow: /01/Disallow: /02/Disallow: /03/禁止某个搜索引擎的访问(下例中的BadBot)User-agent: BadBotDisallow: /只允许某个搜索引擎的访问(下例中的Crawler)User-agent: CrawlerDisallow:User-agent: *Disallow: /
- 设置不被搜索引擎收录
- 不被搜索引擎收录
- 搜索引擎不收录页面的常见原因
- 搜索引擎为什么不收录原创文章
- 怎么设置不让搜索引擎收录某些页面
- 搜索引擎免费被百度收录
- 搜索引擎收录
- 搜索引擎收录
- 搜索引擎收录
- 网站不被搜索引擎收录的关键原因分析14条
- 搜索引擎不收录网站页面的常见原因
- 搜索引擎不收录网站页面的常见原因
- 全方位分析搜索引擎不收录内页的几个原因
- 解决ajax内容搜索引擎不收录的问题
- 香港主机空间搜索引擎会不收录吗?
- 搜索引擎不收录网站页面的常见原因
- 网站被搜索引擎收录的好处
- 网站终于被搜索引擎收录了
- 总结一下Silverlight里Template,ContentTemplate,ItemTemplate和Content属性的区别
- android中TabHost+intent的使用
- Gtags config in emacs
- 6个变态的C语言Hello World程序
- 右键里面添加一个“打开终端”的菜单
- 设置不被搜索引擎收录
- java IO & NIO
- 国嵌视频学习--UBOOT介绍
- CVS ERROR:CVS directory without administration files present. Cannot continue until this directory
- C/C++二维数组的动态分配及参数传递
- Linux_Meld 文件及目录比较工具
- CentOS上搭建Nginx + Mono 运行 asp.net
- C函数库介绍:dos.h、alloc.h、malloc.h、stdlib.h、process.h
- 深入理解Android(卷1) 邓凡平的博客