linux下安装scrapy

scrapy的网站：http://scrapy.org/
简单的来说，scrapy是python开发的一个快速,高层次的屏幕抓取和web抓取框架。

按照官方文档，只是需要easy_install Scrapy即可，但是安装的时候遇到了lxml的编译错误，只好自己解决错误。
我的安装过程：
1. 首先确定机器上有easy_install。
2. 安装lxml：（1）安装libxml2； （2）安装libxslt；如果报错，可能需要configure加上额外信息（--with-libxml-prefix=/home/img/sbin/libxml2-2.9.1/）（3）然后再安装lxml（python setup.py build --with-xslt-config=/home/img/soft/python/lxml-master/libxslt-1.1.27/） （4）执行 python setup.py install.
3. 执行easy_install Scrapy，安装。
4. 执行scrapy startproject tutorial，报错如下：

ImportError: /home/img/sbin/python2.7/lib/python2.7/site-packages/lxml-3.2.3-py2.7-linux-x86_64.egg/lxml/etree.so: undefined symbol: exsltStrXpathCtxtRegister

这个错误是因为so没有找到的原因，因为我把libxml2，libxslt都安装在了自己的文件夹下，所以需要修改一下环境变量LD_LIBRARY_PATH的值，把包含两个库so的目录加入，再次执行scrapy startproject tutorial，可以成功建立工程了。

使用easy_install是很方便，依赖的配置都可以自动下载，但是对于没有外网的环境来说，单独下载还是很麻烦的，而它的windows版本基本把依赖的库都包含了，直接安装即可。要是提供代码的时候的顺便把依赖包也提供一份就好了，就像ogre3D提供的dependencies那样，我要做项目，会提供出建议的依赖包，方便小白用户使用。