nofollow和robots.txt正确使用方法
来源:互联网 发布:java中线程池的使用 编辑:程序博客网 时间:2024/04/30 08:49
网站的优化越来越重要,每一步的优化都会吸引百度蜘蛛收录,怎么才能正确使用好nfollow和robots.txt属性,它们之间有什么共同特点呢?下面由悠悠seo为你解答,如何使用nofollow和robots.txt属性:
一.了解nofollow作用及其使用方法:
nofollow 是一个HTML标签的属性值。这个标签的意义是告诉搜索引擎"不要追踪此网页上的链接或不要追踪此特定链接"。nofollow有两种用法:1.用于meta元标签:<metaname="robots" content="nofollow" />,告诉爬虫该页面上所有链接都无需追踪。2.用于a标签:<ahref="login.aspx" rel="nofollow">登录</a>,告诉爬虫该页面无需追踪。nofollow主要有三个作用:1.防止不可信的内容,最常见的是博客上的垃圾留言与评论中为了获取外链的垃圾链接,为了防止页面指向一些拉圾页面和站点。2.付费链接:为了防止付费链接影响Google的搜索结果排名,Google建议使用nofollow属性。3.引导爬虫抓取有效的页面:避免爬虫抓取一些无意义的页面,影响爬虫抓取的效率。
二.了解robots.txt作用及其使用方法:
robots.txt就是一份网站和搜索引擎双方签订的规则协议书,是搜索引擎中访问网站的时候要查看的第一个文件。首先爬行来检查该站点根目录下是否存在robots.txt。如果存在,蜘蛛就按照协议上规定爬行抓取;没有robots.txt,蜘蛛会随着链接爬行进行抓取。
理解User-agent和Disallow的定义:
User-agent:该项用于描述搜索引擎蜘蛛的名字;Disallow:该项用于描述不希望被抓取和索引的一个URL,这个URL可以是一条完整的路径
下面是一些robots.txt基本的用法:
1、禁止所有搜索引擎访问网站的任何部分:
User-agent: *
Disallow: /
2、允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件robots.txt
3、禁止所有搜索引擎访问网站的几个部分(下例中的cgi-bin、tmp、private目录)
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
4、禁止某个搜索引擎的访问(下例中的BadBot)
User-agent: BadBot
Disallow: /
5、只允许某个搜索引擎的访问(下例中的WebCrawler)
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
三.robots文件与nofollow标签的共同点:
从SEO出发,robots文件与nofollow的共同特点只有一个,就是为了网站优化,为了SEO,从而提升网站排名。既然对SEO有利,那么我们做SEO就必须要熟悉和了解如何使用robots文件与nofollow标签。
了解更多请关注悠悠SEO:http://zhouail.com/
- nofollow和robots.txt正确使用方法
- 正确配置Robots.txt
- robots.txt作用&使用方法
- robots.txt使用方法
- Wordpress如何正确书写Robots.txt
- wordpress中如何正确书写robots.txt
- robots.txt和Robots META标签
- robots.txt和Robots META标签
- robots.txt和Robots META标签
- [转帖]robots.txt和Robots META标签
- 详解robots.txt和Robots META标签
- robots.txt和Robots META标签
- ROBOTS.TXT语法和作用
- robots.txt作用和写法
- robots.txt写法大全和robots.txt语法的作用
- robots.txt的作用是?如何正确的写robots.txt?
- 论WordPress网站robots.txt的正确写法
- 网站优化:robots.txt和Robots META标签
- Openfire 源码部署
- 如何写一个通用的列表控件
- 使用PHP生成PDF文档
- BZOj2790/POI2012 Distance
- Netzob安装
- nofollow和robots.txt正确使用方法
- Markdown Syntax 2.0{Markdown}
- Altium designer关于铺铜的操作
- 1083 Cantor表
- JS获取当前网址信息
- swift 如何让状态栏不遮挡视图
- Android产品研发(九)-->App网络传输协议
- HttpContext.Current.Request.Url
- 1008-31 自动布局的标签/友盟中的坑/转Utf8编码/afn网络监测/多风格搜索器/账号区别