怎么设置不让搜索引擎收录某些页面
来源:互联网 发布:mac升级系统卡顿 编辑:程序博客网 时间:2024/05/16 10:50
怎么设置不让搜索引擎收录某些页面
- |
- 浏览:1001
- |
- 更新:
一、关于robots文件
1. 搜索引擎蜘蛛访问网站时,会先查看网站根目录下有没有robots.txt文件,该文件用于指令搜索引擎禁止抓取网站某些内容或 允许抓取某些内容。注意:就算允许抓取所有内容,也要建一个空的robots.txt文件放在根目录下。
2. 只有在需要禁止抓取某些内容时,robots.txt才有意义,如果该文件为空,就意味着允许搜索引擎抓取所有内容。
3. 语法解释:
最简单的robots文件:禁止搜所有搜索引擎抓取任何内容,写法为:
User-agent:*
Disallow:/
其中,User-agent用于指定规则适用于哪个蜘蛛。通配符*代表所有搜索引擎。如只适用于百度蜘蛛,则写为:User-agent:Baiduspider。谷歌蜘蛛:Googlebot.
Disallow告诉蜘蛛不要抓取某些文件。如 Disallow:/post/index.html,告诉蜘蛛禁止抓取Post文件夹下index.html文件。 Disallow后什么都不写,代表允许抓取一切页面。
二、关于meta robots标签
1. 用于指令搜索引擎禁止索引本页内容。
2. 语法解释:<meta name="robots" content="noindex,nofollow"> 意思是 禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。
noindex:告诉蜘蛛不要索引本页面。
nofollow:告诉蜘蛛不要跟踪本页面上的链接。
nosnippet:告诉蜘蛛怒要在搜索结果中显示说明文字。
noarchive:告诉搜索引擎不要显示快照。
noodp:告诉搜索引擎不要使用开放目录中的标题和说明。
- 怎么设置不让搜索引擎收录某些页面
- 如何写robots.txt? 如何不让搜索引擎不抓取某些页面
- 搜索引擎对页面收录流程
- robots.txt 不让搜索引擎收录网站的方法
- robots.txt 不让搜索引擎收录网站的方法
- robots.txt 不让搜索引擎收录网站的方法
- robots.txt 不让搜索引擎收录网站的方法
- 设置不被搜索引擎收录
- 怎么让搜索引擎收录新网站
- 怎么屏蔽搜索引擎蜘蛛抓取网页收录
- 搜索引擎不收录页面的常见原因
- 首页是搜索引擎收录页面的入口
- 如何防止搜索引擎收录抓取页面内容
- html页面调试设置不让浏览器缓存
- 页面收录关键词查询页面分析搜索引擎工作原理
- 搜索引擎收录
- 搜索引擎收录
- 搜索引擎收录
- 缩略图自适应 解决变形模糊问题
- MATLAB 编程风格指南
- css font:12px/1.5 表示什么意思 body{font-size: 62.5%;}
- 怎样使用DOS命令
- Opnet 14.5 + Win7 + VS2013安装教程
- 怎么设置不让搜索引擎收录某些页面
- css3 transition hover图片样式切换
- php进阶:cookie的有效路径
- 为什么浏览器User-agent总是有Mozilla字样——User-agent String里的历史故事
- dede验证码错误 dede验证码一直提示错误的解决方法
- 215. Kth Largest Element in an Array
- 一个前辈总结的Git教程
- 揪出欺骗搜索引擎的无耻之徒
- 360webscan检测脚本可绕过