在windows下安装scrapy

来源:互联网 发布:java nio和io的区别 编辑:程序博客网 时间:2024/06/05 16:36

在Windows下安装scrapy是比较麻烦的,具体的安装步骤如下:
1: pip install wheel
2: pip install lxml
3: pip install PyOpenssl
4:安装microsoft visual c++ build tools,下载地址:http://landinghub.visualstudio.com/visual-cpp-build-tools
4: pip install twisted
5: pip install pywin32
6: pip install scrapy
在命令行中输入scrapy,出现如下界面,则表示安装成功。
这里写图片描述
在anaconda平台下的安装-推荐使用
conda intall scrapy
anconda平台会自动安装先关依赖库,特别方便。
测试是否安装成功
在命令行中,首先创建项目
scrapy startproject hello
进入项目目录
cd hello
生成爬虫
scrapy genspider baidu www.baidu.com
爬取百度
scrapy crawl baidu

如果命令都可以正常运行,则证明安装成功。

原创粉丝点击