python开源——scrapy命令行
来源:互联网 发布:金林钣金放样软件 编辑:程序博客网 时间:2024/06/05 22:54
Scrapy是通过 scrapy命令行工具进行控制的。
默认的Scrapy项目结构
所有的Scrapy项目默认有类似于下边的文件结构:
scrapy.cfg
myproject/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
spider1.py
spider2.py
…
crapy.cfg 存放的目录被认为是项目的根目录 。该文件中包含python模块名的字段定义了项目的设置。
[settings]
default = tutorial.settings
[deploy]
#url = http://localhost:6800/
project = tutorial
创建项目
使用 scrapy 工具的第一件事就是创建您的Scrapy项目:
scrapy startproject myproject
控制项目
创建一个新的spider:
scrapy genspider mydomain mydomain.com
可用的工具命令(tool commands)
Scrapy提供了两种类型的命令。一种必须在Scrapy项目中运行(针对项目(Project-specific)的命令),另外一种则不需要(全局命令)。全局命令在项目中运行时的表现可能会与在非项目中运行有些许差别(因为可能会使用项目的设定)。
全局命令:
startproject
settings
runspider
shell
fetch
view
version
项目(Project-only)命令:
crawl
check
list
edit
parse
genspider
deploy
bench
自定义项目命令
可以通过 COMMANDS_MODULE来添加您自己的项目命令。
可以以 scrapy/commands中Scrapy commands为例来了解如何实现命令
- python开源——scrapy命令行
- 2.python开源——scrapy使用
- Python 爬虫 —— scrapy
- 1.python开源——scrapy抓取豆瓣信息
- 4、python开源——scrapy爬虫天气预报
- Scrapy--命令行
- python scrapy—登录抓取数据
- python——命令行参数
- Python爬虫框架Scrapy学习一记——认识Scrapy
- Python爬虫框架Scrapy学习二记——Scrapy开发环境配置
- 3.python开源——scrapy爬虫获取周边新楼盘房源(CSDN)
- scrapy - 2. 命令行工具
- scrapy命令行工具
- Scrapy命令行工具
- scrapy 的命令行
- 爬虫Scrapy-常用工具命令行
- scrapy命令行详解
- Scrapy--命令行工具
- Jersey入口配置问题
- pip是Python的包管理
- 算法导论10.2-8
- 网上收集的“知乎网”技术方案架构
- java中的移位运算符:<<,>>
- python开源——scrapy命令行
- 牛客网(直通BAT面试算法班) 第二章,排序上,Day2
- Spring笔记3-泛型依赖注入
- 通俗易懂:Linux/Unix用户及用户组权限管理
- Eclipse Python插件 PyDev
- Redis大Key分拆方案
- python学习(5):celery-beat-task异步驱动框架
- 算法铺子之并查集(一)
- python的正则表达式