CentOS7安装Scrapy和一些爬虫会用到的服务

• 博客链接 https://uublog.com/article/20170308/centos7-install-scrapy/
  讯云这几天搞活动，免费领了三个月的免费VPS。所以想把本地虚拟机的scrapy爬虫迁移上去。

Scrapy是基于Python写的。本来是要安装Python的，但是现在Linux基本都默认安装到Python了，所以这步略过。

我本地是Ubuntu，服务器我装了CentOS7.2。别问我为啥不用Debian，我瞎选的，没啥特别理由。

自己私人使用，为了方便，直接是root开干。

1. 安装pip包管理

yum install -y python-pip

1. 配置pip安装源为阿里云 http://mirrors.aliyun.com/help/pypi。

我觉得这是天朝必备的一个步骤，否则安装软件那龟速不忍直视。

mkdir ~/.pipvim ~/.pip/pip.conf# 改为如下内容[global]index-url = http://mirrors.aliyun.com/pypi/simple/[install]trusted-host=mirrors.aliyun.com

3, 安装编译器和开发库之类的，假如你们也没安装的话

yum -y install gcc gcc-c++ kernel-devel python-devel libxslt-devel libffi-devel openssl-devel

1. 安装主角Scrapy

pip install scrapy

1. 安装MySQL-python

Python连接MySQL的模块

easy_install MySQL-python

如果遇到mysql_config not found
之前的博文有提过这个错误，不过是在Ubuntu下的解决方案-安装libmysqlclient-dev
然而在CentOS的源中并没有这个包。而安装mysql-devel即可。

yum install -y mysql-devel

1. 安装MySQL数据库 yum groupinstall mariadb mariadb-client

MariaDB其实可以看做MySQL新版吧，具体缘由自行百度。

1. 安装redisNoSQL数据库
   会用到配合bloomfilter做url去重。

yum install -y redis

1. 安装 BloomFilter 模块

pip install bloomfilter

至此就差不多了，目前我就用到这些，另外requests和beautifulsoup4模块也装一下。