Scrapy爬虫实战一：获取中影国际影城信息

· 本文采用python3.6版本语言，利用scrapy框架进行爬取。还没有安装scrapy的小伙伴需要先安装scrapy，网上有很多教程，但是大多数是针对python2.7的，其实python3.6版本下安装scrapy很简单，python3.6版本在安装时候已经将pip环境搭建好，windows下只需要cmd ->pip install scrapy即可安装。不过安装scrapy还是有点看运气，理论上只需要这一个命令就可以成功，但是学习的道路总是坎坷的（╭╮(╯_╰)╮），运气不好可能会遇到各种问题，网上也都有相应的解决办法，万一不行就关机重启再输入一次命令。

该项目实现的功能是爬取中影国际影城的电影信息并保存为.txt文件。利用scrapy爬虫就像是做填空题，只需要在相应的文件里填了相应的内容，连文件名都不用该。下面是本次项目的目录结构：

----todayMovie

----todayMovie

----spiders

__init__.py

MovieSpider.py

__init__.py

items.py

pipelines.py

settings.py

scrapy.cfg

上述目录结构中，没有后缀名的为文件夹，有后缀的为文件。我们需要修改只有MovieSpider.py、items.py、pipelines.py、settings.py这四个文件。其中items.py决定爬取哪些项目，MovieSpider.py决定怎么爬，setting.py决定由谁去处理爬取的内容，pipelines决定爬取后内容怎样处理。

1、选择爬取的项目items.py

#决定爬取哪些项目import scrapyclass TodayMovieItem(scrapy.Item):#影院    cinema=scrapy.Field()#电影名    movieName=scrapy.Field()

2、定义怎样爬取MovieSpider.py

#定义如何爬取import scrapyfrom todayMovie.items import TodayMovieItemfrom urllib import requestclass MovieSpider(scrapy.Spider):    name="MovieSpider"    allowed_domains=['com.cn']    start_urls=('http://www.cfc.com.cn/',)    def parse(self,response):        subSelector=response.xpath('//div[@class="text-box"]')        items=[]        for sub in subSelector:            item=TodayMovieItem()            item['movieName']=sub.xpath('./p/text()').extract()            items.append(item)        return items

这部分就是项目的核心了，本项目爬取的网站为 http://www.cfc.com.cn/ ,采取的是xpath选择器，打开该网站的源代码，如下图所示、

可以发现该网站的影片名都是在<div class="text-box">标签下的，所以用xpath选择器先把所有的这些标签找出来，再迭代找出一个一个的<p>标签，获取<p>标签的text()属性。

3、保存爬取的结果pipelines.py

#保存爬取结果import timeclass TodayMoviePipeline(object):    def process_item(self,item,spider):        now= time.strftime('%Y-%m-%d',time.localtime())        fileName='武汉'+now+'.txt'        with open(fileName,'a') as fp:            fp.write((item['movieName'][0]+'\n'))        return item

4、分派任务的settings.py

BOT_NAME='todayMovie'SPIDER_MODULES=['todayMovie.spiders']NEWSPIDER_MODULE='todayMovie.spiders'ITEM_PIPELINES={'todayMovie.pipelines.TodayMoviePipeline':300}

说明一下，ITEM_PIPELINES={'todayMovie.pipelines.TodayMoviePipeline':300}中的300只是一个值，填多少都可以，数字越小越先被执行。

5、配置文件scrapy.cfg

[settings]default=todayMovie.settings[deploy]project=todayMovie

配置文件里的信息说明项目名称以及指定默认分配任务的文件，另外项目里的两个__inti__.py文件都是空文件，保留这两个文件主要是为了让他们所在的文件夹可以作为python的模块使用。

6、怎么运行

cmd->cd 将文件调到我们项目所在的这一层文件，也就是上面目录结构中scrapy.cfg所在的这一层文件夹，然后输入命令：scrapy crawl MovieSpider

执行结束后，会在项目根目录下产生“武汉2017-06-01.txt”文件，里面保存的就是电影的名称。这里的MovieSpider是我们MovieSpider类中name="MovieSpider"的值，更改name的值输入的命令也将更改。

本博客有参考《python网络爬虫实战》一书，该书采用的是python2.x在Linux系统下运行的，采用python3.x在windows下运行的可以参考本博客。