Python 30 行代码实现小型多线程任务队列
来源:互联网 发布:2016年1月经济数据 编辑:程序博客网 时间:2024/06/03 21:23
最近我在用梯度下降算法绘制神经网络的数据时,遇到了一些算法性能的问题。梯度下降算法的代码如下(伪代码):
一般来说,当网络请求 plot.ly 绘图时会阻塞等待返回,于是也会影响到其他的梯度下降函数的执行速度。
一种解决办法是每调用一次 plotly.write 函数就开启一个新的线程,但是这种方法感觉不是很好。 我不想用一个像 cerely(一种分布式任务队列)一样大而全的任务队列框架,因为框架对于我的这点需求来说太重了,并且我的绘图也并不需要 redis 来持久化数据。
那用什么办法解决呢?我在 python 中写了一个很小的任务队列,它可以在一个单独的线程中调用 plotly.write函数。下面是程序代码。
首先我们继承 Queue.Queue 类。从 Queue.Queue 类可以继承 get 和 put 方法,以及队列的行为。
初始化的时候,我们可以不用考虑工作线程的数量。
我们把 task, args, kwargs 以元组的形式存储在队列中。*args 可以传递数量不等的参数,**kwargs 可以传递命名参数。
我们为每个 worker 创建一个线程,然后在后台删除。
下面是 worker 函数的代码:
worker 函数获取队列顶端的任务,并根据输入参数运行,除此之外,没有其他的功能。下面是队列的代码:
我们可以通过下面的代码测试:
Blokkah 是我们要做的任务名称。队列已经缓存在内存中,并且没有执行很多任务。下面的步骤是把主队列当做单独的进程来运行,这样主程序退出以及执行数据库持久化时,队列任务不会停止运行。但是这个例子很好地展示了如何从一个很简单的小任务写成像工作队列这样复杂的程序。
修改之后,我的梯度下降算法工作效率似乎更高了。如果你很感兴趣的话,可以参考下面的代码。
QQ群290551701 聚集很多互联网精英,技术总监,架构师,项目经理!开源技术研究,欢迎业内人士,大牛及新手有志于从事IT行业人员进入!
- Python 30 行代码实现小型多线程任务队列
- 多线程任务队列MulitiThreadJob实现
- C#任务队列的实现代码
- 2行代码实现python多线程
- Java通过DelayQueue的实现多线程任务的阻塞队列
- Python实现小型FTP服务
- 小型多任务操作系统miniOS的实现
- Python异步任务队列
- Java通过缓存队列执行任务代码实现
- 可伸缩多线程任务队列
- Shell模拟多线程/任务队列
- C++任务队列与多线程
- C++任务队列与多线程
- C++任务队列与多线程
- 可伸缩多线程任务队列
- 基于任务队列的多线程
- 可伸缩多线程任务队列
- C++任务队列与多线程
- STM32 USB学习笔记5
- Android中Settings.System的使用(系统全局变量)
- Android开发中无处不在的设计模式——单例模式
- 页面加载过程中的等待查询loading效果
- 2016年02月29日
- Python 30 行代码实现小型多线程任务队列
- 类方法、实例方法、静态方法(重要)
- LeetCode总结,二分法一般性总结
- Android 记录异常 并重启
- Metasploit 资源文件
- xib创建的空视图 加载的时候 设置大小
- caffe:Data 层
- Java多态中重写static函数
- 大坑------对象比较