celery 任务队列预取机制
来源:互联网 发布:自学人工智能 编辑:程序博客网 时间:2024/05/29 13:45
我们启动celery基本命令为:
celery -A mytask worker --loglevel=info
当以此命令启动celery后,celery默认情况下执行任务会有个预取机制(prefetching),预取是什么呢,如下一张图:
我们假设有两个worker,但当任务量较多的时候,celery有个任务队列,每个wroker执行完了,就从这个队列中取任务接着执行。但当有预取机制时,队列中每个task,有了自己的明确限制,就是我这个任务需要指定的worker去执行,就算其他worker是空闲状态,也不能拿到我执行。
celery可能是考虑到公平性问题,即每个worker所执行的任务数量是要均等的。但是,这样有一个问题,当某个任务需要执行很长时间,导致这个任务占用的worker一直得不到释放,这时候任务队列中被这个不被释放的worker预取的任务,一直在等待,并且,其他空闲worker想要取任务,但是都被这个等待的任务阻塞。整个celery都讲陷入等待。
如何解决上述问题呢?
启动celery的命令加上:
celery -A mytask worker --loglevel=info -Ofair
当加上-Ofair时,celery将取消预取机制,如下图:
这样,只要有空闲worker,就会从任务队列中去取任务,保证任务高效执行。这样也就导致每个worker执行的任务量有差距了。
0 0
- celery 任务队列预取机制
- celery 异步任务队列
- Celery 分布式任务队列
- Celery任务队列
- celery分布式队列任务
- Celery消息队列----路由任务
- Django之celery分布式异步任务队列
- Celery:分布式任务队列 简单上手
- Celery消息队列----配置定时任务
- django 信号机制signals 消息队列celery
- 分布式任务队列与任务调度系统Celery入门
- 【转】分布式异步任务队列 Celery + rabbitmq (or redis )
- 分布式异步任务队列 Celery + rabbitmq (or redis )
- 异步任务队列Celery在Django中的使用
- celery配合rabbitmq任务队列实现任务的异步调度执行
- 分布式任务队列与任务调度系统Celery进阶——分布式爬虫
- GCD任务队列机制解析
- Celery 分发任务
- C#高性能大容量SOCKET并发(十):SocketAsyncEventArgs线程模型
- 作业:c++作业3-项目2
- 《剑指Offer》 包含min函数的栈
- jdk动态代理源码剖析
- 细细探究MySQL Group Replicaiton — 配置维护故障处理全集
- celery 任务队列预取机制
- MIT 线性代数(16—18)读书笔记
- SVProgressHud 自定义颜色
- zookeeper c client编译
- js中的sort函数的自定义函数
- [Sencha] 破解 VS Code 的 Sencha Plugin 插件
- SystemClock.sleep()方法与Thread.sleep()方法的区别
- web.xml 中的listener、 filter、servlet 加载顺序及其详解
- 剑指offer:最小的K个数