python爬虫工具及最佳实践

---

爬虫工具及框架

scrapy

请参阅最新文档－－文档1.0版

distribute_crawler

使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现, 爬虫状态显示使用graphite实现。

portia

这是一个使用Web界面的爬虫工具，也是基于Scrapy．

pyspider

可自定义脚本进行爬虫，见demo．

---

最佳实践

知乎－－能利用爬虫技术做到哪些很酷很有趣很有用的事情？

zhihu-python

获取知乎内容信息，包括问题，答案，用户，收藏夹信息 ．

zhihu-spider

获取知乎最热问题—知乎Hot．

---

其它实践

监测她（他）的知乎

监测她（他）的知乎，她关注、回答、赞了某个问题立马电脑和手机都弹出提示．使用c#开发，详情见－－ 被管理员和谐了的最高票答案“知乎数据抓取程序”．