学习安装python的Scrapy爬虫框架
来源:互联网 发布:武汉汉阳美工 编辑:程序博客网 时间:2024/05/23 01:16
前言:很多人都是奔着爬虫去学习Python的,Scrapy是基于python的一个爬虫框架,小编在学习的时候按照书上来一步一步走,很遗憾失败了。又按照网上乱七八糟的安装教程来安装,结果可想而知。我在这里总结一下,希望想学习爬虫的同学,少走一些弯路。
首先我们来安装Python。我在这里多说两句,Python分为2.7和3.0。Python3上的语法变化比较大,而且Python 3.0在设计的时候没有考虑向下兼容。有人说Python2.7已经out了,从Python3开始学。有人说Python2.7现在站的比例非常高等等。。。我劝你都学,没有害处的。废话到此结束。
下载python2.7.3(python3和2.7.3安装以及环境配置相同):
wget https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz
解压到opt目录下
tar -zxvf Python-2.7.13.tgz
进入解压后Python的目录
1. ./configure
2. make install
输入python,如下图就代表python开发环境已经ok了
开始安装scrapy做准备
首先我们先更新一下软件库
centos:yum update
ubuntu:apt-get update
一定要更新,我按照书上的安装方法没有成功,但是我重新安了个镜像后,第一次开机更新了一下软件库,相同的安装过程居然成功了。估计就是软件库太过陈旧,造成了莫名的错误。
安装GCC相关的扩展包
yum install gcc libffi-devel python-devel openssl-devel (话说最新的redis编译老是失败都是因为GCC)
安装开发工具包
yum groupinstall -y development
安装libxslt-devel
yum install libxslt-devel
安装pip
yum -y install python-pip
安装scrapy
pip install scrapy
我们采用以上步骤就能轻松安装完成。相对于别的方法,这是最简单的也是最不容易出错的方法。
下面我们来验证一下:
我们先进入python的交互界面
然后输入:import lxml,如果什么都没有那就代表没有问题,如下图
退出来,输入scrapy version 如下图:
到此简单的安装就完成了。
总结我安装失败的原因:
1.服务器环境复杂,真的是啥都有mysql,redis,hadoop,spark,java,scala,python等等。。。配置文件乱七八糟
2.应用库过于陈旧update提示要900M+
3.安装依赖的先后顺序没有严格执行,而且版本有出入。
如我你安装失败有我类似的情况,那么你按照文章来就不会有问题。
- 学习安装python的Scrapy爬虫框架
- Python爬虫框架scrapy 安装学习
- Python网络爬虫框架scrapy的学习
- Python爬虫框架Scrapy安装
- python爬虫框架scrapy安装
- <scrapy>python 爬虫框架scrapy安装
- python爬虫 scrapy框架学习
- Scrapy:Python的爬虫框架
- Python的爬虫框架 Scrapy
- Scrapy:Python的爬虫框架
- Windows环境下安装Python的爬虫框架Scrapy
- python的爬虫框架scrapy安装和简单使用
- Python学习(8)---Scrapy框架下的网络爬虫
- 基于Scrapy框架的python网络爬虫学习(2)
- 基于Scrapy框架的python网络爬虫学习(3)
- 基于Scrapy框架的python网络爬虫学习(3)
- Python爬虫框架Scrapy实战之安装
- ubuntu14.04安装python爬虫框架Scrapy
- 自定义UTI注册自己的APP
- design-mode2-singleton
- 别人的面试总结
- Zookeeper实例原生API--使用错误权限信息的ZooKeeper会话访问含权限信息的数据节点
- jQuery
- 学习安装python的Scrapy爬虫框架
- C语言指针
- 五、1、正则表达式
- oracle 补丁种类和升级方法
- HTML总结
- 【python 可视化】数据透视表的用法及画饼图
- 线程池详解
- PHP中函数参数的调用及其灵活使用方法
- 作业一 数7