Mariana: Tencent Deep Learning Platform and its Application学习

来源:互联网 发布:印尼格斗术软件 编辑:程序博客网 时间:2024/06/12 00:58

目的:

1.提供大规模的计算能力,为了能够快速训练

2.能够训练大型的模型;

3.能够方便你使用各种模型,优化方法和调整参数。

三种Frameworks:

Multi-GPU, data parallelismL:

模型复制到多个GPU上,数据并行的传入GPU进行训练,每轮训练需要进行parameters collection和parameters distribution。

imageimage

Multi-GPU,modal and data parallelism

image

模型和数据都并行化处理,worker group间数据并行,worker group内模型并行。

CPU cluster:

image

0 0
原创粉丝点击