Python 爬虫入门 1 了解爬虫Scrapy
来源:互联网 发布:常见web前后端数据交互 编辑:程序博客网 时间:2024/05/20 21:22
一、爬虫概念
一个在网上到处或定向抓取数据的程序。它会把页面的URL加载到抓取队列中,然后进入到新页面后再递归进行操作。
二、Scrapy
Scrapy是一个为了抓取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
构架图:
1. 安装
环境:ubuntu,
sudo apt-get install python2.7 python2.7-devsudo apt-get install build-essential;#sudo apt-get install python-dev;sudo apt-get install libxml2-dev;sudo apt-get install libxslt1-dev;sudo apt-get install python-setuptools;sudo apt-get install python-pippip install Scrapy
环境:windows
https://pypi.python.org/pypi/pip#downloadspython setup.py install
把python/scripts加到环境变量。
环境: mac
sudo -H pip install Scrapy
2. 说明
- 引擎(Scrapy Engine),用来处理整个系统的数据流处理,触发事务。
- 调度器(Scheduler),用来接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回。
- 下载器(Downloader),用于下载网页内容,并将网页内容返回给蜘蛛。
- 蜘蛛(Spiders),蜘蛛是主要干活的,用它来制订特定域名或网页的解析规则。编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。
- 项目管道(Item Pipeline),负责处理有蜘蛛从网页中抽取的项目,他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后,将被发送到项目管道,并经过几个特定的次序处理数据。
- 下载器中间件(Downloader Middlewares),位于Scrapy引擎和下载器之间的钩子框架,主要是处理Scrapy引擎与下载器之间的请求及响应。
- 蜘蛛中间件(Spider Middlewares),介于Scrapy引擎和蜘蛛之间的钩子框架,主要工作是处理蜘蛛的响应输入和请求输出。
- 调度中间件(Scheduler Middlewares),介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。
3. 爬取流程
图中绿色是数据走向。首先从初始URL开始,Scheduler会将其交给Downloader进行下载,
下载之后Spider分析结果:
- 需要进一步抓取的链接,如下一页
- 需要保存的数据,送到项目管道,对数据进行后期处理(详细分析、过滤、存储等)
在数据流动的通道里还可以安装各种中间件,进行必要的处理。
4. 数据流
- 引擎打开一个网站(open a domain),找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
- 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
- 引擎向调度器请求下一个要爬取的URL。
- 调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
- 一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(返回(response)方向)发送给引擎。
- 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
- Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
- 引擎将(Spider返回的)爬取到的Item给Item Pipeline,将(Spider返回的)Request给调度器。
三、Scrapy项目基本流程
1. 创建项目
scrapy startproject tutorial
文件说明:
- scrapy.cfg:项目的配置文件
- tutorial/:项目的Python模块,将会从这里引用代码
- tutorial/items.py:项目的items文件
- tutorial/pipelines.py:项目的pipelines文件
- tutorial/settings.py:项目的设置文件
- tutorial/spiders/:存储爬虫的目录
2. 定义要抓取的数据(Item)
修改tutorial目录下的items.py
from scrapy.item import Item,Fieldclass TutorialItem(Item): passclass DmozItem(Item): title = Field() link = Field() desc = Field()
3. 使用项目命令genspider创建爬虫Spider
制作爬虫,分为两步:先爬再取。
i. 爬
Spider是用户自己编写的类,用来从一个域(或域组)中抓取信息。
Spider定义了用于下载的URL列表、跟踪链接的方案、解析网页内容的方式,以此来提取items。
使用scrapy.spider.BaseSpider创建一个子类,并确定三个强制的属性:
- name:爬虫的名字,必须是唯一的,在不同的爬虫中定义不同的名字
- start_urls:爬取的URL列表,爬虫从这里开始。
- parse():解析的方法,调用的时候传入从每一个URL传回的Response对象作为唯一参数,负责解析并匹配抓取的数据(解析为item),跟踪更多的URL
到tutorial/spiders下新建一个爬虫文件:dmoz_spider.py
from scrapy.spider import Spider class DmozSpider(Spider): name = "dmoz" allowed_domains = ["test.com.cn"] #搜索的域名范围 start_urls = [ "http://test.com.cn/a/b/771.html" ] def parse(self, response): # 将链接的最后两个地址取出作为文件名进行存储 filename = response.url.split("/")[-2] open(filename, 'wb').write(response.body)
运行测试:
scrapy crawl dmoz
运行结果:
Scrapy为爬虫的 start_urls属性中的每个URL创建了一个 scrapy.http.Request 对象 ,并将爬虫的parse 方法指定为回调函数。
然后,这些 Request被调度并执行,之后通过parse()方法返回scrapy.http.Response对象,并反馈给爬虫。
ii. 取
在Scrapy里,使用XPath selectors 基于XPath。
XPath示例
- /html/head/title: 选择HTML文档元素下面的 标签。
- /html/head/title/text(): 选择前面提到的 元素下面的文本内容
- //td: 选择所有 元素
- //div[@class=”mine”]: 选择所有包含 class=”mine” 属性的div 标签元素
W3C XPath教程:http://www.w3school.com.cn/xpath/
Scrapy提供了XPathSelector类:HtmlXPathSelector(HTML数据解析)和XmlXPathSelector(XML数据解析)。
Selectors的基础方法:
- xpath():返回一系列的selectors,每一个select表示一个xpath参数表达式选择的节点
- css():返回一系列的selectors,每一个select表示一个css参数表达式选择的节点
- extract():返回一个unicode字符串,为选中的数据
- re():返回一串一个unicode字符串,为使用正则表达式抓取出来的内容
测试:
scrapy shell http://test.com.cn/a/b/771.html
这时可以用response.body看到本地response变量body的值。
示例:
>>> response.xpath('//title')[<Selector xpath='//title' data=u'<title>\u3010\u56fe\u3011\u6c49\u5170\u8fbe \u914d\u7f6e_\u6c49\u5170\u8fbe \u53c2\u6570_\u4e30\u7530_\u6c7d\u8f66\u4e4b\u5bb6</title>'>]>>> response.xpath('//title').extract()[u'<title>\u3010\u56fe\u3011\u6c49\u5170\u8fbe \u914d\u7f6e_\u6c49\u5170\u8fbe \u53c2\u6570_\u4e30\u7530_\u6c7d\u8f66\u4e4b\u5bb6</title>']>>> response.xpath('//title/text()')[<Selector xpath='//title/text()' data=u'\u3010\u56fe\u3011\u6c49\u5170\u8fbe \u914d\u7f6e_\u6c49\u5170\u8fbe \u53c2\u6570_\u4e30\u7530_\u6c7d\u8f66\u4e4b\u5bb6'>]>>> response.xpath('//title/text()').extract()[u'\u3010\u56fe\u3011\u6c49\u5170\u8fbe \u914d\u7f6e_\u6c49\u5170\u8fbe \u53c2\u6570_\u4e30\u7530_\u6c7d\u8f66\u4e4b\u5bb6']
原来的sel已经使用response替换。
4. 编写提取item数据的Spider
from scrapy.spider import Spiderfrom scrapy.selector import Selector from tutorial.items import DmozItem class DmozSpider(Spider): name = "dmoz" allowed_domains = ["test.com.cn"] start_urls = [ "http://test.com.cn/a/b/771.html" ] def parse(self,response): sel = Selector(response) sites = sel.xpath('//title') items = [] for site in sites: item = DmozItem() item['title'] = site.xpath('text()').extract() print item['title'] items.append(item) return items def parse(self, response): sel = Selector(response) sites = sel.xpath('//title') for site in sites: title = site.xpath('a/text()').extract() link = site.xpath('a/@href').extract() desc = site.xpath('text()').extract() print title
5. 进行爬取
scrapy crawl dmoz
6. 通过选择器提取数据
示例
sites = sel.xpath('//ul[@class="directory-url"]/li')
7. 保存数据
scrapy crawl dmoz -o items.json -t json
-o 文件名
-t 导出类型
本文来源:
http://www.jianshu.com/p/a8aad3bf4dc4
参考资料:
http://scrapy-chs.readthedocs.org/zh_CN/latest/topics/architecture.html
http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/tutorial.html
http://www.zhihu.com/question/20899988
http://www.cnblogs.com/wuxl360/p/5567631.html
问题处理:
ImprtError: No module named win32api
需要到https://sourceforge.net/projects/pywin32/files/pywin32/
下载对应版本安装。
安装的时候可能会出现:
python2.7 is required for this package select installation to use
则执行下面的python
## script to register Python 2.0 or later for use with win32all# and other extensions that require Python registry settings## written by Joakim Loew for Secret Labs AB / PythonWare## source:# http://www.pythonware.com/products/works/articles/regpy20.htm## modified by Valentine Gogichashvili as described in http://www.mail-archive.com/distutils-sig@python.org/msg10512.htmlimport sysfrom _winreg import *# tweak as necessaryversion = sys.version[:3]installpath = sys.prefixregpath = "SOFTWARE\\Python\\Pythoncore\\%s\\" % (version)installkey = "InstallPath"pythonkey = "PythonPath"pythonpath = "%s;%s\\Lib\\;%s\\DLLs\\" % ( installpath, installpath, installpath)def RegisterPy(): try: reg = OpenKey(HKEY_CURRENT_USER, regpath) except EnvironmentError as e: try: reg = CreateKey(HKEY_CURRENT_USER, regpath) SetValue(reg, installkey, REG_SZ, installpath) SetValue(reg, pythonkey, REG_SZ, pythonpath) CloseKey(reg) except: print "*** Unable to register!" return print "--- Python", version, "is now registered!" return if (QueryValue(reg, installkey) == installpath and QueryValue(reg, pythonkey) == pythonpath): CloseKey(reg) print "=== Python", version, "is already registered!" return CloseKey(reg) print "*** Unable to register!" print "*** You probably have another Python installation!"if __name__ == "__main__": RegisterPy()
参考:
http://www.cnblogs.com/min0208/archive/2012/05/24/2515584.html
- Python 爬虫入门 1 了解爬虫Scrapy
- Python Scrapy爬虫入门
- Python爬虫之Scrapy框架入门1
- Python爬虫入门-scrapy爬取拉勾网
- scrapy环境搭建 爬虫入门了解
- Python爬虫入门:爬虫基础了解
- scrapy 爬虫入门(1)
- Python爬虫框架Scrapy教程(1)—入门
- python爬虫框架Scrapy入门:安装
- [Python爬虫] scrapy爬虫系列 <一>.安装及入门介绍
- Scrapy爬虫入门
- Scrapy爬虫框架入门
- 网页爬虫--scrapy入门
- 网页爬虫--scrapy入门
- scrapy 爬虫入门
- scrapy爬虫入门
- Python爬虫Scrapy
- python爬虫scrapy
- python使用lxml解析html获取页面内所有叶子节点的xpath路径
- Rundll32
- linux内核--进程管理(一)
- linux下添加新用户,并赋予root权限
- ffmpeg开发之旅(6):详解ffmpeg命令在Android平台上的使用
- Python 爬虫入门 1 了解爬虫Scrapy
- 大型系统开发经验谈
- ACM 蚂蚁问题
- Java中的值传递和地址传递(传值、传引用)
- Algorithms.8-3.STINGY SAT
- javascript中的Object.defineProperty()与getOwnPropertyNames ()方法
- MYSQL 存储过程
- 2016小米-懂二进制-Java
- linux 一台机器的并发量是咋确定的呢? 能接收多少并发estab数量