tensorflow多机/多GPU训练时使用的术语
来源:互联网 发布:淘宝网睡衣大全冬季 编辑:程序博客网 时间:2024/05/18 02:43
Concepts
- replica: 使用多机训练时, 一台机器对应一个replica——复本
- tower:使用多GPU训练时, 一个GPU上对应一个tower。
- clone: 由于tensorflow里多GPU训练一般是每个GPU上都有完整的模型,各自forward,得到的梯度交给CPU平均然后统一backward,每个GPU上的模型也叫做一个clone。所以clone与tower指的是同一个东西。
- parameter server: 多机训练时计算梯度平均值并执行backward操作的参数服务器,功能类比于单机多GPU(也叫单机多卡)时的CPU。(未考证, TODO)
- worker server:功能类比于单机多卡中的GPU。(未考证, TODO)
References
- https://www.tensorflow.org/tutorials/using_gpu
- https://github.com/balancap/SSD-Tensorflow/blob/master/deployment/model_deploy.py
0 0
- tensorflow多机/多GPU训练时使用的术语
- tensorflow使用GPU训练时的显存占用问题
- tensorflow使用GPU训练时的显存占用问题
- tensorflow使用GPU训练时的显存占用问题
- 使用Tensorflow实现多GPU并行训练
- tensorflow 多gpu训练
- tensorflow 使用多块GPU同时训练多个模型
- TensorFlow使用GPU训练网络时多块显卡的显存使用问题
- 17、TensorFLow GPU 的使用
- tensorflow指定gpu的使用
- TensorFlow在训练模型时指定GPU进行训练
- windows7下使用GPU训练tensorflow深度学习模型
- Tensorflow利用GPU训练注意事项
- 多GPU 训练的问题
- 混乱的GPU术语
- tensorflow下设置使用某一块GPU、多GPU、CPU的情况
- tensorflow中使用指定的GPU及GPU显存
- tensorflow 自主选择使用的gpu
- Linux编程基础之多线程编程(三)
- 删除菜单下所有子节点信息
- 通过图片的URI来获取图片的真实路径
- Spring MVC的工作原理
- CUDA 编程 之 编译问题小记
- tensorflow多机/多GPU训练时使用的术语
- 出现 “未能创建此平台,因为已存在同名的解决方案平台”提示
- 矩阵快速幂 模版
- php 使用smtp发送邮件
- JS 动态加载脚本的4种方法
- Android软键盘弹出
- Android ListView 与 RecyclerView 对比浅析--缓存机制
- CentOS 6.7 升级gcc 至 5.2.0
- java调用WPS或pdfcreator的com接口实现doc转pdf