robots.txt

Rails 中的 robots.txt

# See http://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file## To ban all spiders from the entire site uncomment the next two lines:# User-agent: *# Disallow: /

“ User-agent：* ”表示本节适用于所有机器人。“ Disallow：/ ”告诉机器人它不应该访问网站上的任何页面。使用/robots.txt时有两个重要的注意事项：机器人可以忽略您的/robots.txt。特别是扫描Web的恶意软件机器人的安全漏洞，以及垃圾邮件发送者使用的电子邮件地址收集器将不会引起注意。/robots.txt文件是公开可用的文件。任何人都可以看到您的服务器的哪些部分不希望机器人使用。

# https://www.taobao.com/robots.txt 页面User-agent:  BaiduspiderAllow:  /articleAllow:  /oshtmlAllow:  /wenzhangDisallow:  /product/Disallow:  /User-Agent:  GooglebotAllow:  /articleAllow:  /oshtmlAllow:  /productAllow:  /spuAllow:  /dianpuAllow:  /wenzhangAllow:  /overseaAllow:  /listDisallow:  /User-agent:  BingbotAllow:  /articleAllow:  /oshtmlAllow:  /productAllow:  /spuAllow:  /dianpuAllow:  /wenzhangAllow:  /overseaAllow:  /listDisallow:  /User-Agent:  360SpiderAllow:  /articleAllow:  /oshtmlAllow:  /wenzhangDisallow:  /User-Agent:  YisouspiderAllow:  /articleAllow:  /oshtmlAllow:  /wenzhangDisallow:  /User-Agent:  SogouspiderAllow:  /articleAllow:  /oshtmlAllow:  /productAllow:  /wenzhangDisallow:  /User-Agent:  Yahoo!  SlurpAllow:  /productAllow:  /spuAllow:  /dianpuAllow:  /wenzhangAllow:  /overseaAllow:  /listDisallow:  /User-Agent:  *Disallow:  /