创建scrapy开发环境

来源:互联网 发布:五毛钱特效软件 编辑:程序博客网 时间:2024/06/05 12:50

创建scrapy开发环境

本文基于Python的虚拟环境,创建scrapy开发环境。
Python虚拟环境可参考

1. 安装插件常见三种方式

在创建scrapy开发环境时,需要在虚拟环境中安装各种插件,通常安装方式有三种,有时候一种方式不行或者下载速度过慢,可以尝试另外一种:比如安装插件scrapy:

  • 官网下载
    pip install scrapy

  • 豆瓣源
    pip install -i https://pypi.douban.com/simple/ xxx
    比如,pip install -i https://pypi.douban.com/simple/ scrapy

  • 直接安装安装包
    http://www.lfd.uci.edu/~gohlke/pythonlibs/下载安装包,然后pip install 安装包路径

2. scrapy安装

进入虚拟环境后

pip install scrapy

安装过程中如果遇到某一个插件安装失败,可以先用上面三种方式安装这个插件,最后在运行 pip install scrapy

3. 创建scrapy项目

  • 进入一个目标文件夹 cd C:\Users\disheng.zeng\Develop\Python\Scrpay
  • 进入虚拟环境 workon article
  • 在这个目录下创建一个scrapy项目 scrapy startproject ArticleSpider

4. 通过pycharm导入scrapy项目

  • open –> 选择文件夹导入
  • 将虚拟环境导入到pycharm中
    File – >Settings –> project interpreter – >Add local ,选择\Python\Envs\article\Scripts\python.exe
原创粉丝点击