scrapy爬虫学习备忘录(1)
来源:互联网 发布:歌曲剪辑合成软件 编辑:程序博客网 时间:2024/05/10 11:14
虚拟环境的安装与配置
Anacodna之conda与 virtualenv对比使用教程,创建虚拟环境
virtualenv创建虚拟环境
cmd下执行一下命令:
1. 安装:conda install virtualenv
2. 新建虚拟环境:virtualenv XXX (可以指定python版本:virtualenv -p C:\Users\lifengxi\anaconda\anaconda3\python.exe XXX会在当前目录下创建一个虚拟环境XXX
3. 进入cd acrapytest → cd Scripts →运行activate.bat,
4. 退出虚拟环境 :deactivate.bat
virtualenvwrapper
上面每次进入virtual我们都需要进入到virtualenv的目录下,一旦virtualenv过多,就蛋疼了,接下来隆重推荐virtualenvwrapper
1. 安装virtualenvwrapper
pip install virtualenvwrapper-win
设置WORK_HOME环境变量
2. 新建虚拟环境
mkvirtualenv bobbyvir
3. 查看安装的所有虚拟环境
workon注: 这里不能查看到有virtualenv创建的虚拟环境,只能查看mkvirtualenv创建的虚拟环境
4. 进入虚拟环境
workon bobbyvir
5. 退出虚拟环境
deactivate
python虚拟环境中安装Scrapy
进入虚拟环境以后,安装Scrapy的依赖包,由于python中没有默认安装lxml和pyOpenSSL,所有要手动安装,
总共需要安装下面的几个
Zope.Interface、Twisted、w3lib、lxml、pyOpenSSL、Scrapy
依次执行
pip/conda install Zope.Interface
pip/conda install Twisted
pip/conda install w3lib
pip/conda install lxml
注意:这一步安装的时候如果出错,就指定安装的版本号,本机安装的是3.6.0,没问题
如果上步出错,运行pip install lxml==3.6.0
pip install pyOpenSSL
pip install Scrapy
阅读全文
0 0
- scrapy爬虫学习备忘录(1)
- Scrapy 爬虫学习
- scrapy爬虫学习
- scrapy爬虫必需品--------xpath学习
- 爬虫学习之Scrapy构建
- 爬虫学习笔记-Scrapy初识
- 爬虫学习笔记-Scrapy散记
- Scrapy 爬虫 个人学习经验
- python爬虫 scrapy框架学习
- 【爬虫学习笔记】scrapy学习思考
- Python 爬虫入门 1 了解爬虫Scrapy
- scrapy爬虫精要(1)
- scrapy 爬虫入门(1)
- scrapy爬虫(1)之xpath
- python爬虫框架scrapy学习笔记
- python爬虫框架scrapy学习笔记
- Python网络爬虫框架scrapy的学习
- 基于scrapy框架爬虫学习小结
- Oracle 12.2 新特性 | PDB不同字符集变更深入解析
- Maven常见问题汇总
- 开源社交系统ThinkSNS V4更新播报!
- 三道水水的奶牛题
- Android开发:LayoutParams的用法
- scrapy爬虫学习备忘录(1)
- K-Means实战与调优详解
- 10道腾讯的Java面试题
- Lucene7.1.0学习
- 数据蒋堂 | JOIN提速
- PowerDesigner逆向工程导出oracle表结构 若干问题
- python学习总结---lambda匿名函数
- three.js之投影矩阵
- mysql 报错 incompatible with only_full_group_by