Scrapy的简介和安装

来源：互联网发布：北京淘宝代运营公司编辑：程序博客网时间：2024/04/29 22:33

http://blog.csdn.net/nothi/article/details/18712577

pip --proxy=http://168.219.241.177:80 install scrapy

Scrapy简介

scrapy是一个快速(fast)、高层次(high-level)的web爬虫构架。用来下载、并解析web页面,

安装环境

Ubuntu 12.04

安装步骤

安装前的准备

在安装前先打以下的命令，确保以下的软件有安装

[python] view plaincopy
sudo apt-get install gcc g++ gdb python-dev python make  

安装lxml

lxml是一个高效的、用于操作xml的库

[python] view plaincopy
sudo apt-get install python-lxml  

安装pip

pip是python的包管理系统

[python] view plaincopy
sudo apt-get install python-pip  

安装ipython

ipython是python的一个交互界面。相对默认的python shell，ipython运行变量的自动补全、自动缩进等功能

[python] view plaincopy
sudo apt-get install ipython  

安装scrapy

[python] view plaincopy
sudo pip install  scrapy  

这一步可能比较慢,大家耐心等待吧！！！

测试安装是否成功

如果安装完后打scrapy version 没有问题的话，就安装成功了

大家可以打scrapy shell "http://www.csdn.net" ,之类的命令先玩一下scrapy

后记

我在安装的时候出现下列问题

[python] view plaincopy
twisted/runner/portmap.c:10:20: fatal error: Python.h: No such file or directory  
  
compilation terminated.  
  
error: command 'gcc' failed with exit status 1  

就是没发现头文件python.h(Ubuntu经常出现没有发现头文件的问题),只要安装python-dev就解决问题了.

还有很有朋友可能会说我apt-get 就可以直接安装scrapy，没必要这样麻烦。不过，官方是说apt得到的scrapy版本比较旧，基本不能用

0 0