Pytorch学习系列(八)——训练神经网络
来源:互联网 发布:淘宝兼职招聘可信吗 编辑:程序博客网 时间:2024/04/30 18:36
训练
神经网络的训练主要包含以下语句:
if cuda: model.cuda()model.train()#把模型的状态设置为训练状态,主要针对Dropout层optimizer = torch.optim.SGD((model.parameters(), lr=lr, momentum=momentum))for epoch in range(epochs): for batch_idx, (data, target) in enumerate(train_loader): if cuda: data, target = data.cuda(), target.cuda() output = model(data) #对data做前向过程,得到输出 loss = loss(model, output, target)#计算output和target之间的损失 loss.backward()#反向过程,计算损失关于各参数的梯度 optimizer.step()#利用计算得到的梯度对参数进行更新
随机种子
在训练开始时,参数的初始化是随机的,为了让每次的结果一致,我们需要设置随机种子。在main函数中加入如下语句:
torch.manual_seed(args.seed)#为CPU设置随机种子if cuda: torch.cuda.manual_seed(seed)#为当前GPU设置随机种子 torch.cuda.manual_seed_all(seed)#为所有GPU设置随机种子
PyTorch的维护者在回答网友们的问题时表示未来会用torch.manual_seed()同时设置CPU和GPU的种子,不知道现在是否实现了?
在训练过程中更新优化器的学习率
如果想要在训练过程中修改学习率,需要使用新的参数构建新的optimizer。
疑问
是否应该在每个iteration之前将模型参数的梯度清0????
经过实验发现,对于optim.SGD()优化算法,如果不添加optimizer.grad_zero(),那么每次iteration计算的梯度会累加到参数梯度上。
阅读全文
1 0
- Pytorch学习系列(八)——训练神经网络
- PyTorch学习系列(三)——构建神经网络
- PyTorch学习3—神经网络
- 基于PyTorch的深度学习入门教程(五)——训练神经网络分类器
- PyTorch基本用法(八)——批训练
- PyTorch学习系列(十)——如何在训练时固定一些层?
- PyTorch学习系列(十五)——如何加载预训练模型?
- PyTorch学习系列(十四)——保存训练好的模型
- PyTorch学习系列(十六)——如何使用cuda进行训练?
- Pytorch入门——神经网络
- PyTorch学习—PyTorch是什么?
- PyTorch学习系列(六)——自动求导
- PyTorch学习系列(四)——Tensor 和 Variable
- PyTorch学习系列(五)——自定义loss
- PyTorch学习系列(二)——数据预处理torchvision.transforms
- PyTorch学习系列(九)——参数_定义
- PyTorch学习系列(九)——参数_初始化
- PyTorch代码学习-ImageNET训练
- js—BOM焦点事件
- Atom利用gcc-make-run编译opencv工程
- PHP mcrypt启用、加密以及解密过程
- 郑州公司名录
- 8.4.1.4_多边形之间的碰撞
- Pytorch学习系列(八)——训练神经网络
- java Selenium 发送126邮件 解决element not visible
- 排序算法性能总结
- github设置添加SSH
- 搭建SSM开发环境
- c# 添加引用时报错:“未能正确加载“ReferenceManagerPackage”包”的解决方法
- 1003. 相连的1
- 关于TextView限制显示字符,多余用省略号显示问题
- 如何获取xcassets中的启动图片