scrapy 避免被禁止(ban)

http://scrapy-chs.readthedocs.org/zh_CN/latest/topics/practices.html

http://www.2cto.com/os/201406/312688.html

http://www.cnblogs.com/FengYan/archive/2012/07/31/2614335.html

避免被禁止(ban)

有些网站实现了特定的机制，以一定规则来避免被爬虫爬取。 与这些规则打交道并不容易，需要技巧，有时候也需要些特别的基础。 如果有疑问请考虑联系 商业支持 。

下面是些处理这些站点的建议(tips):

• 使用user agent池，轮流选择之一来作为user agent。池中包含常见的浏览器的user agent(google一下一大堆)
• 禁止cookies(参考 COOKIES_ENABLED)，有些站点会使用cookies来发现爬虫的轨迹。
• 设置下载延迟(2或更高)。参考 DOWNLOAD_DELAY 设置。
• 如果可行，使用 Google cache 来爬取数据，而不是直接访问站点。
• 使用IP池。例如免费的 Tor项目 或付费服务(ProxyMesh)。
• 使用高度分布式的下载器(downloader)来绕过禁止(ban)，您就只需要专注分析处理页面。这样的例子有: Crawlera

如果您仍然无法避免被ban，考虑联系 商业支持.