【python】【scrapy】使用方法概要(一)
来源:互联网 发布:dnf账号数据出现异常 编辑:程序博客网 时间:2024/05/21 17:40
工作中经常会有这种需求,需要抓取互联网上的数据。笔者就经常遇到这种需求,一般情况下会临时写个抓取程序,但是每次遇到这种需求的时候,都几乎要重头写,特别是面临需要抓取大数量网页,并且被抓取网站有放抓取机制的时候,处理起来就会很麻烦。
无意中接触到了一个开源的抓取框架scrapy,按照introduction做了第一个dirbot爬虫,觉得很方便,就小小研究了一下,并在工作中用到过几次。
scrapy的文档是英文的,网上相关的说明很少,使用的过程中也遇到过很多问题,大部分都是在 stack overflow 上找到的解答,看来这个工具国外的同行们用的会更多些。鉴于国内关于scrapy的文章甚少,笔者希望能用自己的一些浅显的经验希望帮助大家更快对scrapy入门,作为笔者的第一篇分享文章,很难一气呵成完成,本文将分为几个部分,按照我自己的学习曲线作为组织,如果有错误,希望大家指正。
首先简要终结一下我认为scrapy最便利的几个地方:
1. 代码分工明确,一个抓取任务只需要在几个位置固定的地方增加代码,很容易就能写出基本的抓取功能。
2. 框架隐藏了很多抓取细节,如任务调度,重试机制,但并不是说框架不够灵活,例如框架支持以添加中间件的方式更改隐藏的细节,满足特殊需要,如使用代理ip池进行抓取,防止服务器封掉ip。
好啦,下面正式开始,从安装开始
笔者的运行环境是:linux
包管理使用的是:apt-get
安装流程:
1. 首先去官方网站下载源码
https://github.com/scrapy/scrapy/tarball/0.14
2. 安装setuptools工具
sudo apt-get install python-twisted python-libxml2 python-pyopenssl python-simplejson
3. 安装tar zxf Scrapy-X.X.X.tar.gz
cd Scrapy-X.X.X
sudo python setup.py install
4. 执行
scrpay –version
如果出现
恭喜你,安装成功。
【未完待续~~~~~】
- 【python】【scrapy】使用方法概要(一)
- 【python】【scrapy】使用方法概要(三)
- 【python】【scrapy】使用方法概要(二)
- 【python】【scrapy】使用方法概要(四)
- 【scrapy】使用方法概要(三)(转)
- 【scrapy】使用方法概要(四)(转)
- scrapy使用方法概要
- Scrapy爬虫(一):专题概要
- Python语言(一)概要
- Python scrapy基础教程(一)
- 玩转Python-Scrapy(一):初探scrapy
- python爬虫之scrapy框架(一)
- python快速使用(一)概要
- HttpContext(一)-概要
- Spring概要(一)
- python使用scrapy爬取qq音乐(一)
- python scrapy 小白入门笔记(一)
- 自学Python之Scrapy爬虫:(一)爬虫基础
- World ---Quant 面试题
- xuggle
- CKEditor 3.6入门--在 jsp 中通过自定义标签调用
- AES加密之openssl使用(2)
- hdu1059Dividing 多重背包二进制优化
- 【python】【scrapy】使用方法概要(一)
- javascript中的对象
- iphone视图间跳转之一:自定义视图控制器
- poj1182 并查集 食物链
- 【python】【scrapy】使用方法概要(三)
- ffmpeg使用指南相关网址
- 下拉菜单--字体练习
- 【python】【scrapy】使用方法概要(二)
- 703n无法进入路由管理界面reset无效重刷方法