linux centos python scrapy 环境配置

背景：

这是一个纪念的是时刻~昨天和小伙伴讨论如果仿一个kanzhihu.com的网站

今天开始执行了。

希望达到以下目的：

1.使用python来实现spider（这里选择了scrapy）

2.通过自建linux下服务器保存，并后期计划通过微信展示数据分析结果

3.github来管理项目，来管理。

------------------------------------

scrapy linux下环境搭建：

网上很多，看了不少文章也绕了不少路

代码工具包：（建议安装顺序如下，可以少走很多弯路）

代码包全都是官网下载最新的，所以就不列出目录了

1.sqlite-autoconf-3090100.tar.gz

sqlite3需要在安装python2.7之前装好

参考：

http://www.bubuko.com/infodetail-131419.html

2.Python-2.7.10.tgz

3.distribute-0.6.49.tar.gz（代替setuptools）

原因是centos下本身就有yum命令，该命令是基于python的。而系统下的python为2.6.6版本，scrapy需要基于2.7（我装了现在最新的2.7.10）

4.pip-7.1.2.tar.gz

5.Twisted-15.4.0.tar

安装方法：

网上参考了很多，以下这篇文章比较详细，不过文中提到的我是没有全部安装。就安装了以上5个搞定了

http://www.th7.cn/Program/Python/2012/05/27/77712.shtml

notice：

一、升级python2.7后，yum工具不能用

1.python2.7的升级

/usr/bin/目录下python默认是链接到python2.6的

直接输入python发现是2.6版本。网上很多升级方法，且容易理解就不说了。我是直接cp /usr/local/python27/bin/py* /usr/bin下，然后覆盖。

2.修改yum指定python2.6

覆盖后，python链接到了python2.7, 

修改/usr/bin/yum文件中第一行python 改为python2.6

二、升级python2.7后，pip等工具失效

这个直接参考这个就好了：

http://my.oschina.net/dlpinghailinfeng/blog/203015