常见博客网站的robots.txt

来源：互联网发布：日本人到中国感受知乎编辑：程序博客网时间：2024/04/30 13:35

常见博客类网站robots.txt

因为网站有可能变动，所以这些robots.txt都是某一时刻的情况。

csdn

http://www.csdn.net/robots.txt

Sitemap: http://www.csdn.net/article/sitemap.txtDisallow: /article_preview.html*

博客园

http://www.cnblogs.com/robots.txt

User-Agent: *Allow: /

中国博客网

http://www.blogchina.com/robots.txtUser-agent: *Disallow: /

网易博客

http://blog.163.com/robots.txt

User-agent: *Disallow: /apps/Disallow: /settingsDisallow: /dwr/Disallow: /*/dwr/Disallow: /unblock.doDisallow: /feedback.doDisallow: /*\${*}*Disallow: *jsessionid=*Disallow: /login.doDisallow: /qiangbaoDisallow: /error.doSitemap: http://blog.163.com/sitemap.xml

新浪博客

#限制的搜索引擎的User-Agent代码，*表示所有##############User-agent: *#限制不能搜索的目录，Disallow: 为空时开放所有目录######Allow: /admin/blogmove/Disallow: /admin/Disallow: /include/Disallow: /html/Disallow: /queue/Disallow: /config/#开放搜索的目录有#####################################/#/advice/#/help/#/lm/#/main/#/myblog/#搜索引擎User-Agent代码对照表#########################搜索引擎User-Agent代码#AltaVistaScooter#InfoseekInfoseek#HotbotSlurp#AOL SearchSlurp#ExciteArchitextSpider#GoogleGooglebot#GotoSlurp#LycosLycos#MSN MSNBOT#NetscapeGooglebot#NorthernLightGulliver#WebCrawlerArchitextSpider#IwonSlurp#FastFast#DirectHitGrabber#Yahoo Web PagesGooglebot#Looksmart Web PagesSlurp#BaiduspiderBaidu

1.csdn

0 0