Celery 和 RabbitMQ

Celery
基于分布式消息的开源异步任务，工作队列。其侧重于实时操作，但也支持调度。在项目中，将一些无需即时返回且耗时的操作提取出来，进行了异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。如统计，报表导出等。

Celery的安装：
pip install celery

Celery(djang-celery)在django中配置：
1、把djceley添加到INSTALLED_APPS中
2、在settings.py中添加下面内容(作用是初始化INSTALLED_APPS 中App目录下的tasks.py文件)

import djcelerydjcelery.setup_loader()BROKER_URL = 'django://'...INSTALLED_APPS = (  ...  'djcelery',  ...)

3、创建celery数据库表
python manage.py syncdb
4、配置celery代理（下面安装RabbitMQ时需要配置）
BROKER_HOST = “localhost” # RabbitMQ服务器地址
BROKER_PORT = 5672 # RabbitMQ服务器端口
BROKER_USER = “myuser” # RabbitMQ配置中创建的用户
BROKER_PASSWORD = “mypassword” # RabbitMQ配置中创建的用户密码
BROKER_VHOST = “/”
5、运行celery工作服务
python manage.py celeryd -l info
队列有可能出现阻塞，卡死现象，这时，我们需要看下进程了。
ps aux | grep celeryd
真的有阻塞的话，只能杀进程了或重启了。
ps x|grep celeryd|grep -v grep |awk ‘{print $1}’|xargs kill -9

Celery的使用
在app中创建 tasks.py即可，一个例子

from celery.task import task@task  #@periodic_task(run_every=crontab(hour=3, minute=0))定时任务def add(x, y):    return x + y

# 调用from app.tasks import addadd.delay(10, 10)

RabbitMQ
Celery支持的代理有RabbitMQ, Redis, Beanstalk, MongoDb, CouchDB, 也包括数据库，推荐使用RabbitMQ。其实这里可以把RabbitMQ看做是一个服务，一个类似于数据库的服务。

RabbitMQ的安装：
sudo apt-get install rabbitmq-server

默认会去安装依赖包的，比如erlang（二郎，哈哈）

RabbitMQ的配置（在root权限执行）：
rabbitmqctl add_user myuser mypassword
rabbitmqctl add_vhost myvhost
rabbitmqctl set_permissions -p myvhost myuser “.” “.” “.*”

RabbitMQ的使用：
具体使用参考Celery的使用。

RabbitMQ的参考文档。