Scrapy 命令的使用之一：全局命令

startproject

要使用 startproject 这个命令，可以查看帮助，使用 -h。

scrapy startproject -h

下面是在创建爬虫项目的时候，使用的一些参数示例：

scrapy startproject --logfile='../logf.log' douban

scrapy startproject --loglevel=DEBUG douban

scrapy startproject --nolog douban

---

fetch

示例：

scrapy fetch http://www.baidu.com

格式

scrapy fetch 网址 ：显示出爬取对应网址的过程

使用 scrapy fetch -h 可以查看所有可以使用的 fetch 相关参数

--headers：显示对应的爬虫爬取网页时候的头信息（代替 body 打印出来）
--nolog：控制不显示日志信息
--spider=SPIDER 参数来控制使用哪个爬虫
通过 --logfile = FILE 参数来指定存储日志信息的文件
通过 --loglevel = LEVEL 参数来控制日志等级

示例：

scrapy fetch --headers --nolog http://news.sina.com.cn/

---

runspider

首先，先写一个简单的爬虫文件，命名为 first.py，因为是全局命令，所以这个文件可以放在任何地方：

from scrapy.spiders import Spiderclass FirstSpider(Spider):    name = 'first'    allowed_domains = ["baidu.com"]    start_urls = [        "http://www.baidu.com"    ]    def parse(self,response):        print(response.body[:500])        print(response.url)

使用命令示例：

scrapy runspider --loglevel=INFO first.py

---

settings

在 Scrapy 项目之外使用 settings 命令，查看的是 Scrapy 默认配置信息。即 settings.py 文件里面键值对的信息。

scrapy settings –get BOT_NAME
scrapy settings –get SPIDER_MODULES

---

shell 命令（特别常用）

示例：

退出交互的命令是 exit()。

---

version

scrapy version

scrapy version -v

---

view

view ：下载某个网页并且用浏览器查看

使用示例：

scrapy view http://news.163.com

执行完这个命令以后，Scrapy 程序会自动打开浏览器，然后我们观察浏览器的文件地址，是一个本地文件的地址。