scrapy常用的指令总结
来源:互联网 发布:济宁力拓网络 编辑:程序博客网 时间:2024/06/16 07:06
1、全局命令
scrapy -h 查看全局命令
1)fetch 命令主要用来显示爬虫的过程
显示爬取百度的首页
scrapy fetch http://www.baidu.com
2) --header --nolog 参数控制了展现爬虫爬取新闻的首页的头信息,和
不显示日记信息
scrapy fetch --header --nolog http://news.sina.com.cn/
3)runspider 可以实现不依托Scrapy的爬虫项目,直接运行一个爬虫文件
scrapy runspider --loglevel=INFO first.py
4)setttings 命令查看Scrapy对应的配置信息
scrapy settings --get BOT_NAME
5)shell命令可以启动Scrapy的交互终端
scrapy shell http://www.baidu.com --nolog
6)version查看Scrapyde 版本信息
7)view 可以实现下载某个网页并用浏览器查看功能
2、项目命令 进入某个项目目录下
1)bench 用于测试本地硬件的性能
scrapy bench
2)genspider 命令来创建scrapy爬虫文件
scrapy genspider -l
3)check 实现对某个爬虫文件合同检查
scrapy check gaozhen
4)crawl 启动某个爬虫
scrapy crawl gaozhen --loglevel=INFO
5)list命令 可以列出当前使用的爬虫文件
scrapy list
6)edit命令 可以直接打开对应的编辑器对爬虫文件进行编辑
scrapy edit abc
7)parse 命令 可以实现获取指定的URL网址,并使用对应的爬虫文件进行解析
scrapy parse http://www.baidu.com
scrapy -h 查看全局命令
1)fetch 命令主要用来显示爬虫的过程
显示爬取百度的首页
scrapy fetch http://www.baidu.com
2) --header --nolog 参数控制了展现爬虫爬取新闻的首页的头信息,和
不显示日记信息
scrapy fetch --header --nolog http://news.sina.com.cn/
3)runspider 可以实现不依托Scrapy的爬虫项目,直接运行一个爬虫文件
scrapy runspider --loglevel=INFO first.py
4)setttings 命令查看Scrapy对应的配置信息
scrapy settings --get BOT_NAME
5)shell命令可以启动Scrapy的交互终端
scrapy shell http://www.baidu.com --nolog
6)version查看Scrapyde 版本信息
7)view 可以实现下载某个网页并用浏览器查看功能
2、项目命令 进入某个项目目录下
1)bench 用于测试本地硬件的性能
scrapy bench
2)genspider 命令来创建scrapy爬虫文件
scrapy genspider -l
3)check 实现对某个爬虫文件合同检查
scrapy check gaozhen
4)crawl 启动某个爬虫
scrapy crawl gaozhen --loglevel=INFO
5)list命令 可以列出当前使用的爬虫文件
scrapy list
6)edit命令 可以直接打开对应的编辑器对爬虫文件进行编辑
scrapy edit abc
7)parse 命令 可以实现获取指定的URL网址,并使用对应的爬虫文件进行解析
scrapy parse http://www.baidu.com
阅读全文
0 0
- scrapy常用的指令总结
- 常用的汇编指令总结
- Linux常用的指令---总结
- 常用的sql指令总结
- vim的常用指令总结
- scrapy 的常用代码
- 基于vBird的Linux常用指令总结
- python的scrapy总结
- linux常用指令总结
- 常用svn指令总结
- angular---常用指令总结
- 常用指令总结
- ffmpeg常用指令总结
- ubuntu常用指令总结
- ubuntu常用指令总结
- 汇编语言常用指令总结
- CocoaPod常用指令总结
- 常用git指令总结
- 漫步最优化四十——Powell法(上)
- 第七周项目三C/C++数据结构实践——负数把正数赶出队列
- JZOJ 5462. 【NOIP2017提高A组冲刺11.8】好文章
- 前台显示上传的图片
- 【1701H1】【穆晨】【171108】第二十九天总结
- scrapy常用的指令总结
- 单链表
- 解压版软件小娜搜索不到问题的解决
- c++实现字符串的深拷贝
- java 反射机制-学习笔记(6)
- 关于JS多态中的重载问题分析
- 计算机网络实验三 :CRC 校验 [17/11/08]
- 练习
- 处理高并发、高访问之Apache优化