总结:Large Scale Distributed Deep Networks
来源:互联网 发布:基于单片机设计作品 编辑:程序博客网 时间:2024/05/16 04:04
其中的并行思想有两部分:
1. 通过model parallel实现多个machine训练单个模型
2.通过复制 1 中训练的单个模型, 异步训练不同的数据集(data parallel)
详解上面两种思想的实现:
1.model parallel:将整个神经网络的的神经元划分到不同的机器上,只有处于机器边际的节点间才通过通信交换数据。
2.data parallel: 复制上图中构建的model,将数据集分成几小块,分别在这些model中训练。这里讲涉及到model parameters的共享问题。这里只记录了Downpour SGD算法。
如上图:model的参数都存放在parameter server,各个model replicas从parameter server对应的shard中获取参数,并将其计算的gradient推送到parameter server对应的shard。
这个,每个model replicas是相互独立的,而parameter server中的每个shard也是相互独立的。
此算法的“随机性”体现在一下几个方面:
1.因为model replicas是相互独立的,某个model replicas获取的参数可能已经过期(在其获取参数的同时,可能另一个model replicas对这些参数进行了更新)。
2.因为parameter server中的每个shards是相互独立的,每个shard更新的次数和顺序都可能不一样。
3.因为获取参数,推送梯度和处理训练数据集是由不同的线程进行执行的,所以存在时间戳。
此并行算法强调的是“异步”,其好处有:
1.避免了由于机器间性能的差异导致所有机器要等待最慢机器的问题。
2.及时某些machine down了,整个训练依然可以进行。
- 总结:Large Scale Distributed Deep Networks
- Large Scale Distributed Deep Networks 阅读笔记
- Large Scale Distributed Deep Networks 中译文
- Very Deep Convolutional Networks For Large-Scale Image Recognition论文翻译总结
- VGG论文《Very Deep Convolutional Networks For Large Scale Image Recognition》总结
- Very Deep Convolutional Networks for Large-Scale Image Recognition
- Deep Fisher Networks for Large-Scale Image Classification(精读)
- Very Deep Convolutional Networks for Large-Scale Image Recognition(精读)
- Very Deep Convolutional Networks for Large-Scale Image Recognition
- Very Deep Convolutional Networks for Large-Scale Image Recognition
- very deep convolutional networks for large-scale image recognition---vggnet
- VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION
- 论文Very Deep Convolutional Networks for Large-Scale Image Recognition
- Very Deep Convolutional Networks for Large-Scale Image Classification
- Very deep convolutional networks for large-scale image recognition
- Very Deep Convolutional Networks for Large-Scale Image Recognition
- VGG - Very Deep Convolutional Networks for Large-Scale Image Recognition
- VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION
- Google Nexus设备刷机
- Android中Handler的基本用法
- Android中Handler在主线程发空消息
- iPhone之UITextField缩进文本
- JAVA学习知识点1.24之SpringMVC学习Day01
- 总结:Large Scale Distributed Deep Networks
- linux 线程创建函数pthread_create的几个传参方式
- 数据挖掘入门指导
- Android中下载图片展示到界面点击放大
- 关于该死的原码和补码的关系 以及为什么计算机中使用补码作为运算的码种
- github简单使用教程
- 我经历过的失败产品和项目(七):定位模糊的面向移动互联网的视频通话应用
- IceHouse虚拟机创建过程分析
- Ubuntu下HTK工具安装过程