python新浪微博爬虫

来源:互联网 发布:韦德上赛季场均数据 编辑:程序博客网 时间:2024/04/28 17:22

通过 python+scrapy+redis+MongoDB 编写的新浪微博爬虫程序


主要加入redis的set数据结构来做指纹去重和历史记录


github地址:https://github.com/linderong/sina_weibo_spider

clone:git@github.com:linderong/sina_weibo_spider.git

原创粉丝点击