Scrapy入门教程

1、查看python当前工作目录

import os>>>os.getcwd()

2、更改当前工作目录

os.chdir('要设置的目录')//同样要导入import模块

第一个Scrapy项目：

1、创建项目：

进入您打算存储代码的目录中，运行下列命令:

scrapy startproject tutorial

该命令将会创建包含下列目录的tutorial目录：

tutorial/    scrapy.cfg    tutorial/        __init__.py        items.py        pipelines.py        settings.py        spiders/            __init__.py            ...

这些文件分别是：

• scrapy.cfg:项目的配置文件。
• tutorial/:该项目的python模块。之后您将在此加入代码。
• tutorial/items.py:项目中的item文件。
• tutorial/pipelines.py:项目中的pipelines文件。
• tutorial/settings.py:项目的设置文件。
• tutorial/spiders/:放置spider代码的目录。

2、定义Item
Item是保存爬取道德数据的容器，使用方法和python字典类似，并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
类似在ORM中做的一样，你可以通过创建一个scrapy.Item 类，并且定义类型为scrapy.Field 的类属性来定义一个Item。
首先根据需要从dmoz.org获取到的数据对item进行建模。我们需要从dmoz中获取名字，url，以及网站的描述。对此，在item中定义相应的字段。编辑第二个tutorial目录中的items.py文件（添加下列代码）：

import scrapyclass  DmozItem(scrapy.Item):        title=scrapy.Field()    link=scrapy.Field()    desc=scrapy.Field()

通过定义item，你可以很方便的使用scrapy的其他方法。而这些方法需要知道你的item的定义。

3、编写第一个爬虫
Spider是用户编写用于从单个网站（或者一些网站）爬取数据的类。

其包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容，提取生成item的方法。

为了创建一个Spider，你必须继承scrapy.Spider类，且定义以下三个属性：

• name:用于区别Spider。该名字必须是唯一的，你不可以为不同的Spider设定相同的名字。
• strat_urls:包含了Spider在启动时进行爬取的url列表。因此，第一个被获取到页面将是其中之一。后续的URL则从初始的URL获取到的数据中提取。
• parse():是spider的一个方法。被调用时，每个初始URL完成下载后生成的Response对象将会作为唯一的参数传递给该函数，该方法负责解析返回的数据(response data)，提取数据（生成item）以及需要进一步处理的URL的Request对象。
  以下为我们的第一个Spider代码，保存在tutorial/tutorial/spiders目录下的dmoz_spider.py文件中：

from scrapy.spider import Spiderclass DmozSpider(Spider):    name = "dmoz"    allowed_domains = ["dmoz.org"]    start_urls = [        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"    ]    def parse(self, response):        filename = response.url.split("/")[-2]        with open(filename, 'wb') as f:            f.write(response.body)

4、爬取
进入项目的根目录，执行下列命令启动spider:

scrapy crawl dmoz

crawl dmoz启动用于爬取dmoz.org的spider，你将得到类似的输出：

可以看到，有两条输出的log中包含定义在start_urls中的初始URL，并且与spider中是一一对应的。在log中可以看到其没有指向其他页面（referer:None）。

除此之外，就像我们在parse方法中指定的那样，有两个包含url所对应的内容的文件被创建了：Book和Resources。

刚刚发生了什么？
scrapy为Spider的start_urls属性中的每个URL创建了scrapy.Request对象，并将parse方法作为回调函数（callback）赋值给了Request。
Request对象经过调度，执行生成scrapy.http.Request对象并送回给spider的parse()方法。

5、提取Item
Selector选择器简介
从网页中提取数据有很多方法。Scrapy使用了一种基于XPath和CSS表达式机制：Scrapy Selectors。关于selector和其他提取机制的信息请参考Selector文档。
这里给出XPath表达式的例子及对应的含义：

• /html/head/title：选择HTML文档中< head >标签内的< title >元素。
• /html/head/title/text()：选择上面提到的< title >元素的文字。
• //td：选择所有的< td >元素。
• //div[@class=”mine”]：选择所有具有class=”mine”属性的div元素。

上面仅仅是几个简单的XPath例子，XPath实际上要比这远远强大的多。如果你想了解的更多，可以参考这篇XPath教程。

为了配合XPath,Scrapy除了提供了Selector之外，还提供了方法来避免每次从response中提取数据时生成selector的麻烦。

Seletor有四个基本的方法（相应的方法可以看到详细的API文档）：

• xpath()：传入xpath表达式，返回该表达式所对应的所有节点的selector list列表。
• css()：传入CSS表达式，返回该表达式所对应的所有节点的selector list列表。
• extract()：序列化该节点为unicode字符串并返回list。
• re()：根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。

在Shell中尝试Selector选择器
为了介绍Selector的使用方法，接下来我们将要使用内置的Scrapy shell。Scrapy Shell需要你预装好IPython（一个扩展的Python终端）。

你需要进入项目的根目录，执行下列命令来启动shell:

scrapy shell "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/"

注意：当你在终端运行Scrapy时，请一定记得给url地址加上引号，否则包含参数的url（例如&字符）会导致Scrapy运行失败。

shell输出类似：

当shell载入后，你将得到一个包含response数据的本地response变量。输入response.body将输出response的包体，输出response.headers可以看到response的包头。
更为重要的是，当输入response.selector时，你将获取到一个可以用于查询返回数据的selector（选择器），以及映射到response.selector.xpath()、response.selector.css()的快捷方法（shortcut）：response.xpath()和response.css()。

同时，shell根据response提前初始化了变量sel。该selector根据response的类型自动选择最合适的分析规则（XML vs HTML）。

让我们来试试：

提取数据
现在，我们来尝试从页面中提取有用的数据。
你可以在终端中输入response.body来观察HTML源码并确定合适的XPath表达式。不过，这任务非常无聊且不易。你可以考虑使用Firefox的Firebug扩展来使得工作更为轻松。
在查看了网页的源码后，你会发现网站的信息是被包含在第二个< ul >元素中。

我们可以通过这段代码选择该页面中网站列表里所有< li >元素：

sel.xpath('//ul/li')

网站的描述：

sel.xpath('//ul/li/text()').extract()

网站的标题：

sel.xpath('//ul/li/a/text()').extract()

以及网站的链接：

sel.xpath('//ul/li/a/@href').extract()

之前提到过，每个.xpath()调用返回selector组成的list，因此我们可以拼接更多的.xpath()来进一步获取某个节点。我们将在下边使用这样的特性：

for sel in response.xpath('//ul/li'):    title = sel.xpath('a/text()').extract()    link = sel.xpath('a/@href').extract()    desc = sel.xpath('text()').extract()    print title, link, desc

在我们的spider中加入这段代码：

from scrapy.spider import Spiderclass DmozSpider(Spider):    name = "dmoz"    allowed_domains = ["dmoz.org"]    start_urls = [        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"    ]    def parse(self, response):          for sel in response.xpath('//ul/li'):            title = sel.xpath('a/text()').extract()            link = sel.xpath('a/@href').extract()            desc = sel.xpath('text()').extract()            print title, link, desc

现在尝试再次爬取dmoz.org，你将看到爬取到的网站信息被成功输出：

scrapy crawl dmoz

使用item
Item对象是自定义的python字典。你可以使用标准的字典语法来获取到其每个字段的值。（字段即是我们之前用Field赋值的属性）：

>>>item = DmozItem()>>>item['title']= 'Example title'>>>item['title']'Example title'

一般来说，Spider会将爬取到的数据以Item对象返回。所以为了将爬取的数据返回，我们最终的代码是：

from scrapy.spider import Spiderclass DmozSpider(Spider):    name = "dmoz"    allowed_domains = ["dmoz.org"]    start_urls = [        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"    ]    def parse(self, response):          for sel in response.xpath('//ul/li'):            item = DmozItem()            item['title'] = sel.xpath('a/text()').extract()            item['link'] = sel.xpath('a/@href').extract()            item['desc'] = sel.xpath('text()').extract()            yield item

现在对dmoz.org进行爬取将会产生DmozItem对象：

保存爬取到的数据
最简单存储爬取的数据的方式是使用Feed exports：

scrapy crawl dmoz -o items.json

该命令将采用JSON格式对爬取的数据进行序列化，生成items.json文件。

在类似本篇教程中这样小规模的项目中，这种存储方式已经足够。如果需要对爬取到的item做更多更为复杂的操作，你可以编写Item Pipeline。类似于我们在创建项目时对Item做的，用于你编写自己的tutorial/pipeline.py也被创建。不过如果你仅仅想要保存item，你不需要实现任何的pipeline。