屏蔽搜索引擎机器人的抓取
来源:互联网 发布:淘宝房产 如何买房子 编辑:程序博客网 时间:2024/06/05 02:49
如果你的网站涉及个人隐私或者机密性非公开的网页,怎样告诉禁止搜索引擎收录抓取,下面侯庆龙说下以下方法,希望对不想被搜索引擎收录抓取网站有所帮助。
第一种、robots.txt方法
搜索引擎默认的遵守robots.txt协议,创建robots.txt文本文件放至网站根目录下,编辑代码如下:
User-agent:*
Disallow:
通过代码,即可告诉搜索引擎不要抓取采取收录本网站。
第二种、网页代码
在网站首页代码<head>与</head>之间,加入<metaname="robots"content="noarchive">代码,此标记禁止搜索引擎抓取网站并显示网页快照。
如何禁止百度搜索引擎收录抓取网页
1、编辑robots.txt文件,设计标记为:
User-agent:Baiduspider
Disallow:/
2、在网站首页代码<head>与</head>之间,加入<metaname="Baiduspider"content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。
3、联系百度管理人员,信箱地址为:webmaster@baidu.com,用网站联系人信箱发电邮,如实说明删除网页快照的情况,经百度核实后,网页停止收录抓取。
4、登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧,发个帖子,表明删除网页收录网站快照的原因,当百度管理人员,看到会给予处理。
如何禁止Google搜索引擎收录抓取网页
1、编辑robots.txt文件,设计标记为:
User-agent:googlebot
Disallow:/
2、在网站首页代码<head>与</head>之间,加入<metaname="googlebot"content="noarchive">即可禁止谷歌搜索引擎抓取网站并显示网页快照。
转载地址:http://www.cnblogs.com/patf/articles/3137394.html- 屏蔽搜索引擎机器人的抓取
- 如何屏蔽搜索引擎抓取?
- 屏蔽搜索引擎蜘蛛抓取某个域名下的链接
- 怎么屏蔽搜索引擎蜘蛛抓取网页收录
- 搜索引擎抓取的关系
- 如何屏蔽搜索引擎的文章!
- 屏蔽搜索引擎蜘蛛的代码
- 百度VS淘宝 (淘宝网正式向百度宣战:淘宝网将屏蔽百度的搜索引擎抓取)
- 捕捉搜索引擎机器人的PHP源代码
- 给搜索引擎的机器人Web Robot指路
- 搜索引擎对JS的抓取实验
- 搜索引擎的发展和蜘蛛抓取原理
- 搜索引擎是如何抓取网站内容的
- 搜索引擎不抓取的网站内容大纲
- 屏蔽百度机器人
- 搜索引擎机器人研究报告
- [完成]On Bots 翻译 (搜索引擎机器人的研究报告)
- On Bots 翻译 (搜索引擎机器人的研究报告)
- Qt5 在win7上发布 & 打包依赖dll生成exe方法
- onenand小结 及 与nor 和nand 的区别
- android四大组件
- Eclipse安装Svn等插件简介
- Java SE 自学笔记9 之 抽象类、接口、内部类、匿名内部类、枚举
- 屏蔽搜索引擎机器人的抓取
- eclipse svn密码修改
- 固定转浮动DIV
- JSP动态选择复选框(通过JSTL实现)
- Proble J Codeforces Round #135 (Div. 2) A. k-String
- qsort与sort
- 博客迁移,以后在CSDN上安家
- Django1.5 model字段类型清单
- 【Util】之——cookie