caffe多GPU训练问题之gpu 0 does not have p2p access to gpu 2
来源:互联网 发布:拍照软件的盈利模式 编辑:程序博客网 时间:2024/06/01 16:31
在训练center-loss 网络时,center-loss 太大,虽然乘以一个很小的系数(0.008),还是导致loss特别大,最后loss为87.3365,为nan。
不断调整参数,最后可以训练了,然后看输出:
在gpu 0 和gpu 2之间没有p2p 交互。
stackoverflow上的problem1,说性能会下降,因为没有用到 SLI bridge,只会导致训练速度的下降,不会带来其他的问题;problem2。
找到了官方的文档multi-gpu解释,在使用多GPU时,性能会跟最差的那一个一致,并且是,实际的batchsize数为网络文件中的batchsize*gpu个数。
没开 p2p dma access 会导致计算性能下降。
使用nvidia-smi topo -m
查看,
阅读全文
0 0
- caffe多GPU训练问题之gpu 0 does not have p2p access to gpu 2
- caffe训练GPU配置
- 多GPU 训练的问题
- GPU下caffe训练cifar10
- caffe多GPU上手
- tensorflow 多gpu训练
- Caffe下多GPU性能问题
- Caffe训练mnist数据遇到的问题(GPU版)
- GPU
- gpu
- GPU
- GPU
- GPU
- gpu
- gpu
- 关于caffe的python写的层多GPU训练
- caffe下多gpu训练,NCCL的配置
- caffe训练时总是会占用0号GPU卡
- Ext Viewport水平居中
- tensorflow can not find libcusolver.so.8.0
- Macaca之测试用例(Java版)
- 微信支付遇到的各种坑及解决方案
- DEDECMS不调用指定栏目或隐藏栏目下的文章
- caffe多GPU训练问题之gpu 0 does not have p2p access to gpu 2
- 完美刷新浏览器缓存js源码
- Android如何在账户设置中添加App的账户
- Mac、win VLC播放器 快进的三个快捷键
- 机器学习之感知机
- 如何用化学软件绘制苯环
- 视频直播知识点(二)
- sql简单实现查询某个表字段名,是否主键,是否非空及备注信息
- QT中 mdisubwindow中让图片跟随窗口变化