开源框架MXNet | 环境变量配置(显存)
来源:互联网 发布:诚哥战斗过的天台淘宝 编辑:程序博客网 时间:2024/06/06 05:02
一般情况下,不需要修改有关环境变量的配置。但是一些特殊情况,需要修改的,就涉及到以下这些内容了:
在linux上最简单的修改方式就是export MXNET_GPU_WORKER_NTHREADS=3
一 设置进程数量
MXNET_GPU_WORKER_NTHREADS
这个参数用来在一块卡上并行计算,在每一块GPU上最大的进程数,默认值为2MXNET_GPU_COPY_NTHREADS
在每个GPU上执行内存复制作业的并发线程的最大数量,默认值1MXNET_CPU_WORKER_NTHREADS
MXNET_CPU_PRIORITY_NTHREADS
MXNET_CPU_NNPACK_NTHREADS
二 显存选项
MXNET_EXEC_ENABLE_INPLACE
默认值:trueNNVM_EXEC_MATCH_RANGE
默认值:16MXNET_EXEC_NUM_TEMP
默认值:1
将此设置为一个小数目可以节省GPU内存。它也可能会降低并行度,这通常是可以接受的。MXNET_GPU_MEM_POOL_RESERVE
默认值:5
If you see a strange out-of-memory error from the kernel launch, after multiple iterations, try setting this to a larger value.
三 Memonger
- MXNET_BACKWARD_DO_MIRROR
默认值:0,可选0或1
MXNet 使用镜像概念来节省内存。用于训练阶段来节省设备内存,当设置为1 的时候,在前向传播的时候会复制某些层的fp,反向传播的时候会重新计算这些数据。MXNET_BACKWARD_DO_MIRROR=1
将会节省30%~50%的显存, 保存95%的运行速度。
四 控制数据通信
- MXNET_KVSTORE_REDUCTION_NTHREADS
默认值:4
用于总结大数组的CPU线程数。 MXNET_KVSTORE_BIGARRAY_BOUND
MXNET_ENABLE_GPU_P2P
更多配置信息:
http://mxnet.incubator.apache.org/how_to/env_var.html
五 Mxnet恢复训练
Mxnet可以通过断点恢复训练,命令如下:
python train_end2end.py --network resnet --gpu 0 --resume --begin_epoch 10 --end_epoch 15 --lr_step 15
- 开源框架MXNet | 环境变量配置(显存)
- DL的图像识别、语音识别应用进展及MxNet开源框架设计
- 基于Apache MXNet,亚马逊NMT开源框架Sockeye论文介绍
- mxnet 框架的搭建
- mxnet 配置与 demo
- mxnet 配置与 demo
- mxnet-ssh环境配置
- 【BDTC 2015】深度学习分论坛:DL的图像识别、语音识别应用进展及MxNet开源框架设计
- 分布式机器学习框架:MxNet
- MXNet框架的resize操作
- mxnet-Gluon(一):mxnet-Gluon 入门
- windows下安装配置Mxnet
- Anaconda+Mxnet 安装及配置
- mxnet
- MXNet
- MXNet
- MXNet
- 深度学习框架的介绍与比较(Caffe, TensorFlow, MXNet, Torch, Theano)
- 生动描述三次tcp握手
- Angular拦截器
- mysql 主从从M-S1-S11 ,S1数据库15张表的数据被删除掉了几千行
- 第十周项目1(2)-二叉树构造算法的验证
- FXML与SceneBuilder开发中TableView控件的使用
- 开源框架MXNet | 环境变量配置(显存)
- 项目部署时,报Jstl异常:org.apache.jasper.JasperException: This absolute uri
- STM32开发板实现Pixhawk无人机GPS跟踪
- xml字符转译
- 机器学习入门:线性回归及梯度下降
- leetcode Symmetric Tree
- 满足条件的进制转换,并输出
- 关于markdown文件插入图片遇到的小问题和解决办法
- what is CPU capacity-什么是CPU容量