scrapy 爬取网站并存入数据库实例
来源:互联网 发布:方媛的淘宝店 编辑:程序博客网 时间:2024/06/06 01:40
实例,官方有个实例教程,算是比较简单了,然后后面有更详细的一项项解释,不过老实讲我还真是看不太懂,很多地方没有给出实例,所以我在网上找了一大堆资料后,弄了一个实例。现在列出来跟大家分享。
1.实例初级目标:从一个网站的列表页抓取文章列表,然后存入数据库中,数据库包括文章标题、链接、时间
首先生成一个项目:scrapy startproject fjsen
先定义下items,打开items.py:
我们开始建模的项目,我们想抓取的标题,地址和时间的网站,我们定义域为这三个属性。这样做,我们编辑items.py,发现在开放目录目录。我们的项目看起来像这样:
# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/topics/items.html
from scrapy.item import Item, Field
class FjsenItem(Item): # define the fields for your item here like: # name = Field() title=Field() link=Field() addtime=Field()
大家想知道更加详细的话看:http://doc.scrapy.org/en/0.12/topics/items.html
第二步:定义一个spider,就是爬行蜘蛛(注意在工程的spiders文件夹下),他们确定一个初步清单的网址下载,如何跟随链接,以及如何分析这些内容的页面中提取项目(我们要抓取的网站是http://www.fjsen.com/j/node_94962.htm 这列表的所有十页的链接和时间)。
新建一个fjsen_spider.py,内容如下:
#-*- coding: utf-8 -*-from scrapy.spider import BaseSpiderfrom scrapy.selector import HtmlXPathSelectorfrom fjsen.items import FjsenItemclass FjsenSpider(BaseSpider): name="fjsen" allowed_domains=["fjsen.com"] start_urls=['http://www.fjsen.com/j/node_94962_'+str(x)+'.htm' for x in range(2,11)]+['http://www.fjsen.com/j/node_94962.htm']
def parse(self,response): hxs=HtmlXPathSelector(response) sites=hxs.select('//ul/li') items=[] for site in sites: item=FjsenItem() item['title']=site.select('a/text()').extract() item['link'] = site.select('a/@href').extract() item['addtime']=site.select('span/text()').extract() items.append(item) return items
name:是确定蜘蛛的名称。它必须是独特的,就是说,你不能设置相同的名称不同的蜘蛛。
allowed_domains:这个很明显,就是允许的域名,或者说爬虫所允许抓取的范围仅限这个列表里面的域名。
start_urls:是一个网址列表,蜘蛛会开始爬。所以,第一页将被列在这里下载。随后的网址将生成先后从数据中包含的起始网址。我这里直接是列出十个列表页。
parse():是蜘蛛的一个方法,当每一个开始下载的url返回的Response对象都会执行该函数。
这里面,我抓取每一个列表页中的
- 下的
- 下的数据,包括title,链接,还有时间,并插入到一个列表中.
第三步,将抓取到的数据存入数据库中,这里就得在pipelines.py这个文件里面修改了
# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: http://doc.scrapy.org/topics/item-pipeline.html import sqlite3from os import pathfrom scrapy import signalsfrom scrapy.xlib.pydispatch import dispatcherclass FjsenPipeline(object): def __init__(self): self.conn=None dispatcher.connect(self.initialize,signals.engine_started) dispatcher.connect(self.finalize,signals.engine_stopped) def process_item(self,item,spider): self.conn.execute('insert into fjsen values(?,?,?,?)',(None,item['title'][0],'http://www.fjsen.com/'+item['link'][0],item['addtime'][0])) return item
def initialize(self): if path.exists(self.filename): self.conn=sqlite3.connect(self.filename) else: self.conn=self.create_table(self.filename) def finalize(self): if self.conn is not None: self.conn.commit() self.conn.close() self.conn=None def create_table(self,filename): conn=sqlite3.connect(filename) conn.execute("""create table fjsen(id integer primary key autoincrement,title text,link text,addtime text)""") conn.commit() return conn这里我暂时不解释,先继续,让这个蜘蛛跑起来再说。
第四步:修改setting.py这个文件:将下面这句话加进去
ITEM_PIPELINES=['fjsen.pipelines.FjsenPipeline']
接着,跑起来吧,执行:
scrapy crawl fjsen
就会在目前下生成一个data.sqlite的数据库文件,所有抓取到的数据都会存在这里。
0 0
- scrapy 爬取网站并存入数据库实例
- 爬取电影天堂并存入数据库
- scrapy整合hbase爬取数据并存入hbase
- 实战爬虫-爬取红袖添香并存入数据库
- Scrapy简明教程(四)——爬取CSDN博客专家所有博文并存入MongoDB
- 利用Scrapy框架爬取博客信息并存到mysql数据库
- 创建爬虫----爬取大众点评数据并存入mongoDB数据库
- Java爬虫--利用HttpClient和Jsoup爬取博客数据并存入数据库
- 简单爬虫,爬取CSDN博客阅读数量并存入数据库
- scrapy框架爬取知乎110w用户信息,并存入mysql数据库和mongoDB数据库
- scrapy爬取电影网站
- scrapy实例 ----- 爬取小说
- 上传excel并存入数据库
- scrapy(一)爬取动态网站
- scrapy框架爬取校花网站
- scrapy+xpath爬取不可描述网站
- python+scrapy+mysql爬取故事网站
- python scrapy之爬取 zhengfu网站
- 235. Lowest Common Ancestor of a Binary Search Tree
- mac OS小工具使用
- Json概述以及python对json的相关操作
- -Dmaven.multiModuleProjectDirectory system propery is not set.
- Vuforia + Unity3d SDK开发-原理,前述
- scrapy 爬取网站并存入数据库实例
- 0-1背包问题
- 每日一记
- Java中导入、导出Excel
- 嵌入式开发第31、32天(项目2:用线程池实现大批量复制文件)
- 文章标题
- 自定义VIew之圆形百分比效果
- linux mips内核启动流程
- java生成word的几种方案