window python3 安装pip和scrapy,lxml 过程和出错解决
来源:互联网 发布:广西水利造价软件 编辑:程序博客网 时间:2024/05/23 23:10
如果需要转载请私信,并说明出处链接,谢谢合作
自己爬过的坑。。。。。
我的环境:win7
python :3.5
一.先在cmd下 进入Python的安装目录。
例:C:\Users\asus>cd /d D:\Python\Python35-32
然后在安装目录下输入 easy_install pip
如果提示 缺少 setuptool 模块,有的是自带的,没有的话,可以自行百度Google下载,然后放到Python的安装目录下,放心不是很难。
二.现在开始安装scrapy或者lxml。
cmd安装目录下输入 pip install scrapy。
要下载的,所以要视网速而等。
然后可能会发现报错,“Unable to find vcvarsall.bat ”
这个问题就是没安装微软的 virtual studio ,少了这个.bat,安装virtual studio时要勾选什么Python包什么的。但是virtual studio 太大了,而且版本什么的太麻烦,现在推荐下面这种。
解决办法:
1.pip install wheel
2.在这里下载对应的.whl文件,注意别改文件名
网址: http://www.lfd.uci.edu/~gohlke/pythonlibs/#scrapy
按Ctrl+F ,输入lxml ,找到下面这段
lxml-3.6.4-cp27-cp27m-win32.whl
lxml-3.6.4-cp27-cp27m-win_amd64.whl
lxml-3.6.4-cp34-cp34m-win32.whl
lxml-3.6.4-cp34-cp34m-win_amd64.whl
lxml-3.6.4-cp35-cp35m-win32.whl
lxml-3.6.4-cp35-cp35m-win_amd64.whl
cp后面是Python的版本号,35表示3.5,根据你的Python版本下载。
然后放到你的Python安装目录下
pip install 完整的.whl文件名和后缀。
4.重新安装scrapy 。
pip install scrapy
没有报错说明成功了,
自己重启编译器 试下。
import scrapy
看是否成功。
还有,可能你代码写完了,在用scrapy框架的时候。
当你开始爬虫的时候,输入
scrapy crawl 你spider的名字
可能会出现
ImportError: cannot import name '_win32stdio'
解决办法就是:
pip install twisted-win
然后重新输入
scrapy crawl 你spider的名字
启动爬虫
如果
出现了 Crawled (200)
那么就恭喜你成功了。
注:
scrapy所需要的依赖包
pywin32 Twisted zope.interface lxml pyOpenSSL
可能每个人不一样。但是看控制台的信息,缺什么就 pip install 什么,但是一定要把包的名字敲对。
- window python3 安装pip和scrapy,lxml 过程和出错解决
- python2.7.6安装pip和scrapy过程
- python3 pip安装scrapy
- 解决关于python3.4 在windows安装Pillow、lxml 和 ubuntu lxml 安装失败问题
- window+python3.6环境下安装numby和pip
- Windows下安装Scrapy和lxml
- Windows上Python3.5安装Scrapy(lxml)
- python2和Python3的同时安装的pip的解决
- pip安装lxml出错的问题解决
- Python安装lxml出错解决
- windows 上安装 pip 和 scrapy
- window下python3.5安装lxml
- 解决使用pip安装lxml包报错问题
- python2和python3同时存在时 pip install xxx 安装出错
- Ubuntu下python3 安装 pip 和 Django
- centos上安装python3.5和pip
- 从source安装python3.5和pip
- centos上安装python3.5和pip
- Ubuntu 15.04: Compile Caffe with CUDA/cuDNN
- 图片加载框架之内存缓存(一级缓存)设计(2)
- mysql 多个字段拼接
- docker学习1--介绍
- myeclipse注册机注册不成功处理
- window python3 安装pip和scrapy,lxml 过程和出错解决
- 那些年搞不懂的高深术语——依赖倒置•控制反转•依赖注入•面向接口编程
- 韩老师word排版(笔记)
- 面向对象和方法重载
- Android N for Developers
- 《数据结构与算法》学习笔记19 递归_二分查找
- Java多线程基础:进程和线程之由来
- 苹果ipa软件包破解笔记
- ubuntu的iptables保存和重启后自动生效的方法