Scrapy入门教程

来源:互联网 发布:海岛奇兵数据大全 编辑:程序博客网 时间:2024/05/22 04:02

引自:http://doc.scrapy.org/0.9/intro/tutorial.html#intro-tutorial

 

在这篇入门教程中,假定你已经安装了Scrapy。如果你还没有安装,那么请参考安装指南。

我们将使用开放目录项目(Open directory project (dmoz) )作为抓取的例子。

这篇入门教程将引导你完成如下任务:

    1. 生成一个新的Scrapy项目

    2. 定义提取的Item

    3. 写爬虫以爬行站点,并提取Items

    4. 写Item Pipeline以存储提取出的Item

 

Scrapy是由Python编写的。如果你是Python新手,你也许希望从了解Python开始,以期最好的使用Scrapy。如果你对其它编程语言熟悉,想快速的学习Python,这里推荐 Dive Into Python。如果你对编程是新手,且想从Python开始学习编程,请看下面的对非程序员的Python资源列表。

(待续)

译者:赵传钢   Email:chgzhao2006@126.com

原创粉丝点击