window python3 安装pip和scrapy,lxml 过程和出错解决

来源:互联网 发布:广西水利造价软件 编辑:程序博客网 时间:2024/05/23 23:10

如果需要转载请私信,并说明出处链接,谢谢合作

自己爬过的坑。。。。。
我的环境:win7
python :3.5

一.先在cmd下 进入Python的安装目录。
例:C:\Users\asus>cd /d D:\Python\Python35-32

    然后在安装目录下输入 easy_install pip

如果提示 缺少 setuptool 模块,有的是自带的,没有的话,可以自行百度Google下载,然后放到Python的安装目录下,放心不是很难。

二.现在开始安装scrapy或者lxml。

    cmd安装目录下输入 pip install scrapy。

要下载的,所以要视网速而等。
然后可能会发现报错,“Unable to find vcvarsall.bat ”
这个问题就是没安装微软的 virtual studio ,少了这个.bat,安装virtual studio时要勾选什么Python包什么的。但是virtual studio 太大了,而且版本什么的太麻烦,现在推荐下面这种。
解决办法:

1.pip install wheel

2.在这里下载对应的.whl文件,注意别改文件名
网址: http://www.lfd.uci.edu/~gohlke/pythonlibs/#scrapy
按Ctrl+F ,输入lxml ,找到下面这段
lxml-3.6.4-cp27-cp27m-win32.whl
lxml-3.6.4-cp27-cp27m-win_amd64.whl
lxml-3.6.4-cp34-cp34m-win32.whl
lxml-3.6.4-cp34-cp34m-win_amd64.whl
lxml-3.6.4-cp35-cp35m-win32.whl
lxml-3.6.4-cp35-cp35m-win_amd64.whl
cp后面是Python的版本号,35表示3.5,根据你的Python版本下载。
然后放到你的Python安装目录下

pip install 完整的.whl文件名和后缀。

4.重新安装scrapy 。

pip install scrapy 

没有报错说明成功了,
自己重启编译器 试下。

import scrapy

看是否成功。
还有,可能你代码写完了,在用scrapy框架的时候。
当你开始爬虫的时候,输入

scrapy crawl 你spider的名字

可能会出现

ImportError: cannot import name '_win32stdio'

解决办法就是:

pip install twisted-win

然后重新输入

scrapy crawl 你spider的名字

启动爬虫
这里写图片描述

如果
出现了 Crawled (200)
那么就恭喜你成功了。
注:
scrapy所需要的依赖包

        pywin32          Twisted         zope.interface         lxml         pyOpenSSL

可能每个人不一样。但是看控制台的信息,缺什么就 pip install 什么,但是一定要把包的名字敲对。

0 0