如何防止搜索引擎收录抓取页面内容
来源:互联网 发布:张成泽犬决 知乎 编辑:程序博客网 时间:2024/05/01 02:39
如果你的网站涉及个人隐私或者机密性非公开的网页,怎样告诉禁止搜索引擎收录抓取,下面侯庆龙说下以下方法,希望对不想被搜索引擎收录抓取网站有所帮助。
第一种、robots.txt方法
搜索引擎默认的遵守robots.txt协议,创建robots.txt文本文件放至网站根目录下,编辑代码如下:
User-agent:*
Disallow:
通过代码,即可告诉搜索引擎不要抓取采取收录本网站。
第二种、网页代码
在网站首页代码<head>与</head>之间,加入<metaname="robots"content="noarchive">代码,此标记禁止搜索引擎抓取网站并显示网页快照。
如何禁止百度搜索引擎收录抓取网页
1、编辑robots.txt文件,设计标记为:
User-agent:Baiduspider
Disallow:/
2、在网站首页代码<head>与</head>之间,加入<metaname="Baiduspider"content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。
3、联系百度管理人员,信箱地址为:webmaster@baidu.com,用网站联系人信箱发电邮,如实说明删除网页快照的情况,经百度核实后,网页停止收录抓取。
4、登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧,发个帖子,表明删除网页收录网站快照的原因,当百度管理人员,看到会给予处理。
如何禁止Google搜索引擎收录抓取网页
1、编辑robots.txt文件,设计标记为:
User-agent:googlebot
Disallow:/
2、在网站首页代码<head>与</head>之间,加入<metaname="googlebot"content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。
第三种方法、利用JS封装iframe骗过搜索引擎
- 如何防止搜索引擎收录抓取页面内容
- 如何使用robots.txt防止搜索引擎抓取页面
- 如何禁止搜索引擎收录网站内容
- 搜索引擎收录、抓取、排序页面的原理简析
- 如何让搜索引擎抓取AJAX内容?
- 如何让搜索引擎抓取AJAX内容?
- 如何让搜索引擎抓取AJAX内容?
- 如何让搜索引擎抓取AJAX内容?
- 如何让搜索引擎抓取AJAX内容
- 如何让搜索引擎抓取AJAX内容?
- 搜索引擎是如何抓取网站内容的
- 如何让搜索引擎抓取AJAX内容?
- 如何让搜索引擎抓取AJAX内容?
- 如何让搜索引擎抓取AJAX内容?
- 如何让搜索引擎抓取AJAX内容?
- 如何让搜索引擎抓取AJAX内容?
- 如何让搜索引擎抓取AJAX内容
- 如何让搜索引擎抓取AJAX内容
- angular2.0新特性总结
- OC属性总结笔记
- 使用Jquery validation组件对easyui-datebox组件的时间进行验证遇到的问题
- 函数功能:传入一个数组,返回数组中第二大数。已知数组中的对象都是数字构成的字符串,且任意两元素不相等。 如传入:@[@"1",@"2",@"3",@"4"],返回@"3"
- MyBatis学习(5)---------调用存储过程和缓存
- 如何防止搜索引擎收录抓取页面内容
- JNI笔记
- 获取系统相册
- UIButton
- JSP2.0自定义标签
- 关于人性,我是这么看的——“唯进化”论!
- 使用 CSS 媒体查询创建响应式网站
- uva208递归枚举
- 【Hibernate】(3)Hibernate单表操作