scrapy安装和简单使用
来源:互联网 发布:淘宝网店装修模板 编辑:程序博客网 时间:2024/06/05 09:34
本文讲诉的基于一个python3的虚拟环境下安装和使用scrapy
虚拟环境下安装scrapy
- 安装python3, 也可以同时安装python2,一起使用
- 创建一个虚拟环境叫python3text ,mkvirtualenv –python=C:\Users\Administrator\AppData\Local\Programs\Python\Python35\python.exe python3text
不懂的虚拟环境创建,可以参考我的python-虚拟环境的安装和配置这篇文章对虚拟环境的安装和使用。 - 创建虚拟环境的时候会自动进入虚拟环境,也可以手动进入 workon python3text
- 进入到虚拟环境安装scrapy
pip install -i https://pypi.doubanio.com/simple/ scrapy
上面的语句中使用了豆瓣源,可以加速下载,安装的时候会出错如图:
可以到这个网站下载对应的安装包
下载完了之后,到自己对应的下载目录下安装包:
安装成功之后,再继续执行:pip install -i https://pypi.doubanio.com/simple/ scrapy
进行安装scrapy,安装的时候出错就到这个网站下载对应的安装包,进行安装就可以了。 - 来查看是否安装成功:
pip list
简单使用scrapy进行项目的搭建
- 创建一个scrapy项目:
scrapy startproject first_project
- “` cd first_project
scrapy genspider jobbole blog.jobbole.com #进入到目录下,创建jobbole的爬虫(spider)
scrapy list #查看spider的名字,
3.
scrapy crawl jobbole #运行名叫jobbole的spider“`
4.运行的时候,在windows下会出现错误:
缺少一个包,我们进行安装: pip install -i https://pypi.douban.com/simple/ pypiwin32
安装命令
5. 重新运行我们的spider,即可运行成功。
阅读全文
0 0
- scrapy安装和简单使用
- python的爬虫框架scrapy安装和简单使用
- python scrapy爬虫简单安装使用
- python爬虫 - scrapy的安装和使用
- python+scrapy+win10安装和使用
- scrapy框架的安装和初使用
- Scrapy爬虫入门教程 安装和基本使用
- scrapy简单项目使用
- scrapy 简单使用
- Python之Scrapy爬虫框架安装及简单使用
- selenium的使用和scrapy的简单使用
- Scrapy安装及使用
- scrapy安装使用教程
- scrapy介绍和安装
- Python 爬虫 正则抽取网页数据和Scrapy简单使用
- Windows7 安装scrapy 简单实用教程
- Python 爬虫6——Scrapy的安装和使用
- Scrapy爬虫入门教程一 安装和基本使用
- [leetcode: Python]434. Number of Segments in a String
- GOLANG实现超时对象检测的最好理解的方式
- Go1.8实现watchdog功能,实现依赖启动服务程序
- Leap Motion(JS)控制(提高事件判定精准度)
- 使用FreeMarker替换JSP的10个理由
- scrapy安装和简单使用
- Android酷炫的25种动画开源框架
- 移动app测试中出现bug漏测的原因分析
- 接口
- dvwa-command injection
- MySQL · 引擎特性 · InnoDB Buffer Pool
- Linux系统下安装rz/sz命令及使用说明
- 微信小程序cookie-session问题
- 波波炮轰帕楚利亚?勇士助教:你们也不干净!--- 这好像也是一个逻辑错误