Scrapy迁移到生产服务器（aliyun）

已经是昨天的事了，却拖到了现在，因为今天去(eight zero three)取数据了。现在把昨天的blog补上，哈哈！

首先，Scrapy真的很不友好，应该说整个python的库的安装很不人性化，当然，这只是我目前的认知，可能更深入的学习之后，会有个更清晰的认识吧！闲话少说，开始update昨天的日程。

scrapy需要依赖的包有：

1. • Python 2.7
   • Python Package: pip and setuptools. 现在 pip 依赖 setuptools ，如果未安装，则会自动安装setuptools 。
   • lxml. 大多数Linux发行版自带了lxml。如果缺失，请查看http://lxml.de/installation.html
   • OpenSSL. 除了Windows(请查看 平台安装指南)之外的系统都已经提供。

   您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).

详细可参看：scrapy中午官方tutorial

aliyun：python2.73，pip，lxml

需要安装：OpenSSL，MySQL-python,scrapy

理论来说，这几个半小时到一个小时就可以安装完了，无奈之前这台服务器环境配置人员不负责任。

1. OpenSSL的安装：首先ailiyun的pip真的很糟糕，pip源基本都找不到合适的包，所以下次配python相关的环境时，最首要的事情就是确保pip的高版本，还有pip源的修改。
2. 在~/pip/pip.conf

   编辑如下

   [global]

   trusted-host=mirrors.aliyun.com

   index-url=http://mirrors.aliyun.com/pypi/simple/

   必须把trusted-url设置一下。

3. 当找不到合适的pip源，无法下载合适的包时，请尝试指定版本来安装包

      pip install package==1.2.4

OpenSSL的安装上述基本可以解决。

之后老大难的MySQL-python包，之前在mac下也是折腾了我一天半时间，这次还是依旧非常耗时。

MySQL-python包的安装最主要的是会报，

sh: mysql_config: not found

Traceback (most recent call last):

  File “setup.py”, line 15, in <module>

    metadata, options = get_config()

  File “/home/zhxia/apps/source/MySQL-python-1.2.3/setup_posix.py”, line 43, in get_config

    libs = mysql_config(“libs_r”)

  File “/home/zhxia/apps/source/MySQL-python-1.2.3/setup_posix.py”, line 24, in mysql_config

    raise EnvironmentError(“%s not found” % (mysql_config.path,))

EnvironmentError: mysql_config not found

而在本台服务器上，

sudo apt-get install libmysqlclient-dev

找到mysql_config文件的路径

如果apt-get不能安装的话，看下apt-get的版本，

linux下升级apt-get：

sudo apt-get update