python celery(任务调度器)
来源:互联网 发布:数据库通配符 编辑:程序博客网 时间:2024/04/30 14:47
Celery是Python开发的分布式任务调度模块,今天抽空看了一下,果然接口简单,开发容易,5分钟就写出了一个异步发送邮件的服务。
Celery本身不含消息服务,它使用第三方消息服务来传递任务,目前,Celery支持的消息服务有RabbitMQ、Redis甚至是数据库,当然Redis应该是最佳选择。
安装Celery
用pip或easy_install安装:
$ sudo pip install Celery
或着:
$ sudo easy_install Celery
使用Redis作为Broker时,再安装一个celery-with-redis。
开始编写tasks.py:
# tasks.pyimport timefrom celery import Celerycelery = Celery('tasks', broker='redis://localhost:6379/0')@celery.taskdef sendmail(mail): print('sending mail to %s...' % mail['to']) time.sleep(2.0) print('mail sent.')
然后启动Celery处理任务:
$ celery -A tasks worker --loglevel=info
上面的命令行实际上启动的是Worker,如果要放到后台运行,可以扔给supervisor。
如何发送任务?非常简单:
>>> from tasks import sendmail>>> sendmail.delay(dict(to='celery@python.org'))<AsyncResult: 1a0a9262-7858-4192-9981-b7bf0ea7483b>
可以看到,Celery的API设计真的非常简单。
然后,在Worker里就可以看到任务处理的消息:
[2013-08-27 19:20:23,363: WARNING/MainProcess] celery@MichaeliMac.local ready.[2013-08-27 19:20:23,367: INFO/MainProcess] consumer: Connected to redis://localhost:6379/0.[2013-08-27 19:20:45,618: INFO/MainProcess] Got task from broker: tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b][2013-08-27 19:20:45,655: WARNING/PoolWorker-4] sending mail to celery@python.org...[2013-08-27 19:20:47,657: WARNING/PoolWorker-4] mail sent.[2013-08-27 19:20:47,658: INFO/MainProcess] Task tasks.sendmail[1a0a9262-7858-4192-9981-b7bf0ea7483b] succeeded in 2.00266814232s: None
Celery默认设置就能满足基本要求。Worker以Pool模式启动,默认大小为CPU核心数量,缺省序列化机制是pickle,但可以指定为json。由于Python调用UNIX/Linux程序实在太容易,所以,用Celery作为异步任务框架非常合适。
1 0
- python celery(任务调度器)
- 任务调度:Celery
- 任务调度利器:Celery
- 任务调度利器:Celery
- 任务调度利器-Celery
- Celery任务调度示例
- 任务调度Celery
- 任务调度利器:Celery
- Python Celery 实现异步任务
- Python APScheduler任务调度器
- 分布式任务队列与任务调度系统Celery入门
- Celery+python+redis异步执行定时任务
- 【Python】django-celery执行定时任务
- 简单了解celery-分布式异步任务调度系统
- python任务调度
- Python 任务调度-APScheduler
- python任务调度
- celery配合rabbitmq任务队列实现任务的异步调度执行
- Two ways to load mysql tables into hdfs via spark
- "abc" full arrange - II
- 国际减灾战略委员会
- 类之间的关系
- Python 动态生成变量名
- python celery(任务调度器)
- Android 百度地图开发 应用到自己的项目中
- OutMan——Objective-C中的ARC介绍和block的使用
- Rational software architect9 生成序列图 软件死机
- 压缩图片实例
- 辛星解读laravel源代码第一篇即Database的实现流程
- python中调用函数
- _itoa atoi、atof、itoa、itow _itoa_s 类型转换使用说明
- hdu3790