Celery任务队列

来源:互联网 发布:天刀红唇萌妹捏脸数据 编辑:程序博客网 时间:2024/06/08 13:11

什么是任务队列(Task Queue)?

使用任务队列作为分发任务的机制。
一个任务队列的输入是一组被称为任务的工作单元。专用的工人会持续监听任务队列来等待完成新的工作。
Celery通过消息进行通信,通常使用中间人作为客户端和工人(workers)间的媒介。为了初始化一项任务,客户端会添加一条消息到队列中,然后中间人传递这条消息给一个worker。

一个Celery系统可以包含多个工人和中间人,解决高可用可平行扩展问题。

我需要什么?

Celery需要一个消息传输系统来收发消息。RabbitMQ and Redis传输系统功能完备,但也有很多其他的实验性解决方案,如使用SQLite做本地开发。
Celery可以在单一机器上,在多台机器上,甚至跨数据中心运行

原创粉丝点击