python scrapy-redis

今天接触了scrapy redis 概念 记录下知识点。

scrapy 是爬虫框架

redis 为分布式数据库

安装可以在dos command 使用 pip install scrapy 和 pip install redis , 然后python 就会自动安装这两个库，真是比java 不知道高到哪里去了，pip 这个命令真好用。

电脑要先安装c++ build tool: landinghub.visualstudio.com/visual-cpp-build-tools

然后在dos 环境下新建一个scrapy 项目 scrapy startproject yourprojectname, 建好之后会有提示信息并且告诉你放在什么地方