解决多进程中APScheduler重复运行的问题
来源:互联网 发布:qq假红包软件 编辑:程序博客网 时间:2024/06/17 18:17
问题
在一个python web应用中需要定时执行一些任务,所以用了APScheduler这个库。又因为是用flask这个web框架,所以用了flask-apscheduler这个插件(本质上与直接用APScheduler一样,这里不作区分)。
在开发中直接测试运行是没有问题的,但是用gunicorn部署以后发生了重复运行的问题:
每个任务在时间到的时刻会同时执行好几遍。
注意了一下重复的数量,恰恰是gunicorn里配置的worker进程数量,显然是每个worker进程都启动了一份scheduler造成。
解决
可以想到的方案有几个:
- 用
--preload
启动gunicorn,确保scheduler只在loader的时候创建一次 - 另外创建一个单独的定时任务项目,单独以一个进程运行
- 用全局锁确保scheduler只运行一次
经过实践,只有第三个方案比较好。
preload的问题:
虽然这样可以使用scheduler创建代码只执行一次,但是问题也在于它只执行一次,重新部署以后如果用kill -HUP重启gunicorn,它并不会重启,甚至整个项目都不会更新。这是preload的副作用,除非重写部署脚本,完全重启应用。
单独进程的问题:
也是因为部署麻烦,需要多一套部署方案,虽然用Docker会比较方便,但仍然不喜欢,而且同时维护两个项目也多出很多不必要的事情。
全局锁是一个较好的方案,但问题在于找一个合适的锁。
python自带的多进程多线程锁方案都需要一个共享变量来维护,但是因为worker进程是被gunicorn的主进程启动的,并不方便自己维护,所以需要一个系统级的锁。
在Stackoverflow上看到有人是用了一个socket端口来做锁实现这个方案,但是我也不喜欢这样浪费一个宝贵的端口资源。不过这倒给了我一个启发:
可以用文件锁!
于是有了这个解决方案:
import atexitimport fcntlfrom flask_apscheduler import APSchedulerdef init(app): f = open("scheduler.lock", "wb") try: fcntl.flock(f, fcntl.LOCK_EX | fcntl.LOCK_NB) scheduler = APScheduler() scheduler.init_app(app) scheduler.start() except: pass def unlock(): fcntl.flock(f, fcntl.LOCK_UN) f.close() atexit.register(unlock)
原理
init函数为flask项目初始化所调用,这里为scheduler模块的初始化部分。
首先打开(或创建)一个scheduler.lock文件,并加上非阻塞互斥锁。成功后创建scheduler并启动。
如果加文件锁失败,说明scheduler已经创建,就略过创建scheduler的部分。
最后注册一个退出事件,如果这个flask项目退出,则解锁并关闭scheduler.lock文件的锁。
- 解决多进程中APScheduler重复运行的问题
- pyinstaller打包apscheduler问题的解决方法
- 解决中记录重复问题
- Python中APScheduler模块的使用
- 防止进程重复运行
- 防止进程重复运行
- 解决PHP中函数重复定义的问题
- 解决表中重复行的问题题
- 利用匿名namespace解决C++中重复定义的问题
- oracle中rowid解决数据重复的问题
- C语言中如何解决重复include的问题
- 利用匿名namespace解决C++中重复定义的问题
- 解决Mysql中删除重复记录的问题
- 解决Mysql中删除重复记录的问题
- 解决查询MySQL数据库中重复数据的问题
- 解决yum被占进程运行问题
- wince 中重复打开进程问题
- 解决多条数据点击详情页面中调用jquery赋值重复的问题
- 认识JMeter
- hdu1556 树状数组
- maven的初识别以及用来管理一个小案例的实现具体实现步骤
- css修改单选框与复选框样式
- UBUNTU 彻底删除 MYSQL 然后重装 MYSQL
- 解决多进程中APScheduler重复运行的问题
- HTML ASCII 参考手册
- 继承《一》
- 设计模式——建造者
- ACM递推递归练习I 蟠桃记
- 动态规划问题
- MySQL查询相关
- 设计模式-2-LSP里氏替换原则
- git 常用命令