Tensorflow分布式并行策略

转载 2016年11月30日 19:48:43

数据并行

这是转载的！！！http://blog.csdn.net/u010510350/article/details/53412659

一个简单的加速训练的技术是并行地计算梯度，然后更新相应的参数。数据并行又可以根据其更新参数的方式分为同步数据并行和异步数据并行，同步的数据并行方式如图所示，tensorflow图有着很多的部分图模型计算副本，单一的客户端线程驱动整个训练图，来自不同的设备的数据需要进行同步更新。这种方式在实现时，主要的限制就是每一次更新都是同步的，其整体计算时间取决于性能最差的那个设备。

上图为：同步数据并行

上图为：异步数据并行

模型并行

一个模型并行训练的例子如图所示，其针对的训练对象是同一批样本数据，但是将不同的模型计算部分分布在不同的计算设备上同时执行。

上图为：模型并行

模型计算流水线并行

此并行方式主要针对在同一个设备中并发实现模型的计算，如图是其并发计算步骤，可以发现它实际上与异步数据并行有些相似，但是唯一不同的是此方式的并行发生在同一个设备上，而不是在不同的设备之间。并且在计算一批简单的样例时，允许进行“填充间隙”，这可以充分利用空闲的设备资源。

上图为：流水线并行

阅读全文

版权声明：本文为博主原创文章，未经博主允许不得转载。