ubuntu环境下python爬虫项目需要的模块

端午假期逛了下ubuntukylin社区，发现里面的掌声不少。

所以我这个爱国爱党爱美眉的三好青年也装了最新版的ubuntukylin。

由于之前阿里云机器是centos,所以有些Python的模块还得重装下，以下是一些模块的安装和出现相关问题的解决方法（备注：大天朝的网络，所以建议还是翻翻墙）

脚本依赖的python模块与安装方法如下，验证方法import + module_name 

前提：

    apt-get install python-pip

    apt-get install python-dev

1 安装requests模块

    pip install requests

2 安装lxml模块

    pip install lxml

    if 出现错误：    /tmp/pip-build-7HN4t8/lxml/src/lxml/includes/etree_defs.h:14:31: fatal error: libxml/xmlversion.h: No such file or directory

    重新执行：

        apt-get install libxml2-dev libxslt-dev python-dev

    然后：

        pip install lxml

3 安装threadpool模块

    pip install threadpool

4 安装MySQLdb模块

    pip install MySQL-python

    if 出现错误：    EnvironmentError: mysql_config not found

    重新执行：

        apt-get install libmysqld-dev 和 apt-get install libmysqlclient-dev

    然后：

        pip install MySQL-python

    出错原因：

        Google后得知mysql_config是属于MySQL开发用的文件，而使用apt-get安装的MySQL是没有这个文件的，于是在包安装器里面寻找    

5 安装zope.interface 、Twisted、pyOpenSSL 这三个模块时候

    强烈建议不要分开安装(理由：因为很容易导致后面安装的scrapy版本不一致);

    建议通过scrapy提供的Ubuntu packages和scrapy一齐安装。

    链接：http://doc.scrapy.org/en/1.0/topics/ubuntu.html#topics-ubuntu

    scrapy 更新：

        sudo apt-get update && sudo apt-get install scrapy