crawl spider的使用

1.创建一个爬虫项目：

scrapy startproject news_spider

1.1 进入到项目目录里面 cd news_spider

2.创建一个爬虫

scrapy genspider -t crawl 爬虫名 域名
scrapy genspider -t crawl china_report “www.chinareports.org.cn”

3.参数介绍

1.allow_domains 允许的域名，这个一般删掉。
2.start_urls 起始的url