Tensorflow分布式并行策略
来源:互联网 发布:赛尔网络大赛 编辑:程序博客网 时间:2024/04/29 21:15
tensorFlow中主要包括了三种不同的并行策略,其分别是数据并行、模型并行、模型计算流水线并行,具体参考Tenssorflow白皮书,在接下来分别简单介绍三种并行策略的原理。
数据并行
一个简单的加速训练的技术是并行地计算梯度,然后更新相应的参数。数据并行又可以根据其更新参数的方式分为同步数据并行和异步数据并行,同步的数据并行方式如图所示,tensorflow图有着很多的部分图模型计算副本,单一的客户端线程驱动整个训练图,来自不同的设备的数据需要进行同步更新。这种方式在实现时,主要的限制就是每一次更新都是同步的,其整体计算时间取决于性能最差的那个设备。
数据并行还有异步的实现方式,如图所示,与同步方式不同的是,在处理来自不同设备的数据更新时进行异步更新,不同设备之间互不影响,对于每一个图副本都有一个单独的客户端线程与其对应。在这样的实现方式下,即使有部分设备性能特别差甚至中途退出训练,对训练结果和训练效率都不会造成太大影响。但是由于设备间互不影响,所以在更新参数时可能其他设备已经更好的更新过了,所以会造成参数的抖动,但是整体的趋势是向着最好的结果进行的。所以说这种方式更适用于数据量大,更新次数多的情况。
模型并行
一个模型并行训练的例子如图所示,其针对的训练对象是同一批样本数据,但是将不同的模型计算部分分布在不同的计算设备上同时执行。
模型计算流水线并行
此并行方式主要针对在同一个设备中并发实现模型的计算,如图是其并发计算步骤,可以发现它实际上与异步数据并行有些相似,但是唯一不同的是此方式的并行发生在同一个设备上,而不是在不同的设备之间。并且在计算一批简单的样例时,允许进行“填充间隙”,这可以充分利用空闲的设备资源。
- Tensorflow分布式并行策略
- Tensorflow分布式并行策略
- Tensorflow分布式并行技术实践
- Tensorflow实战学习(四十一)【分布式并行】
- 深度学习框架Tensorflow分布式实战多机多卡GPU,CPU并行
- tensorflow 分布式 全局变量 数据并行 同步训练 in-graph 实例
- tensorflow 分布式 数据并行 异步训练 between-graph 实例
- tensorflow 分布式 数据并行 同步训练 between-graph 实例
- tensorflow 分布式 数据并行 in-graph 自己写的实例
- tensorflow44《TensorFlow实战》笔记-09-03 分布式并行 code
- 并行分布式
- 分布式TensorFlow
- 分布式tensorflow
- 分布式tensorflow
- 分布式 tensorflow
- tensorflow 分布式 数据并行 异步训练 between-graph 自己写的实例 CNN
- tensorflow 分布式 数据并行 异步训练 between-graph 自己写的实例 RNN
- 并行计算,分布式计算
- WPF学习笔记(2)——x名称空间详解 上
- 操作系统实验之基于内核栈切换的进程切换
- shell在centOS6.5中安装redis
- 插鼠标出现 usb设备无法识别 解决办法
- java io总结
- Tensorflow分布式并行策略
- PHP防止sql注入
- Android JNI学习之动态注册native函数
- Redis配置文件redis.conf 详解
- 初探堆(未完成)
- Android自定义View---掌上英雄联盟能力分析简单实现
- killall for windows
- iOS中将图片保存到自定义相册中
- 基于bootstrap的分页代码