pytorch学习笔记(二):gradient
来源:互联网 发布:学java看什么视频 编辑:程序博客网 时间:2024/06/06 16:42
gradient
在BP
的时候,pytorch
是将Variable
的梯度放在Variable
对象中的,我们随时都可以使用Variable.grad
得到对应Variable
的grad
。刚创建Variable
的时候,它的grad
属性是初始化为0.0
的。
- 1
- 2
- 3
- 4
- 5
- 6
- 1
- 2
- 3
- 4
- 5
- 6
Variable containing: 0 0 0[torch.FloatTensor of size 3]Variable containing: 0 0 0[torch.FloatTensor of size 3]
从下面这两段代码可以看出,Variable
的grad
是累加的即: Variable.grad=Variable.grad+new_grad
- 1
- 2
- 3
- 1
- 2
- 3
Variable containing: 0.3333 0.3333 0.3333[torch.FloatTensor of size 3]
- 1
- 2
- 1
- 2
Variable containing: 0.6667 0.6667 0.6667[torch.FloatTensor of size 3]
既然累加的话,那我们如何置零呢?
- 1
- 2
- 1
- 2
Variable containing: 0 0 0[torch.FloatTensor of size 3]
通过上面的方法,就可以将grad
置零。通过打印出来的信息可以看出,w1.grad
其实是Tensor
。现在可以更清楚的理解一下Variable
与Tensor
之间的关系,上篇博客已经说过,Variable
是Tensor
的一个wrapper
,那么到底是什么样的wrapper
呢?从目前的掌握的知识来看,一个是保存weights
的Tensor
,一个是保存grad
的Variable
。Variable
的一些运算,实际上就是里面的Tensor
的运算。 pytorch
中的所有运算都是基于Tensor
的,Variable
只是一个Wrapper
,Variable
的计算的实质就是里面的Tensor
在计算。Variable
默认代表的是里面存储的Tensor
(weights
)。理解到这,我们就可以对grad
进行随意操作了。
- 1
- 2
- 3
- 4
- 1
- 2
- 3
- 4
这里更新的时候为什么要用Tensor
更新,为什么不直接用Variable
? Variable
更多是用在feedforward
中的,因为feedforward
是需要记住各个Tensor
之间联系的,这样,才能正确的bp
。Tensor
不会记录路径。而且,如果使用Variable
操作的话,就会造成循环图了(猜测)。
- pytorch学习笔记(二):gradient
- pytorch学习笔记(二):gradient
- pytorch学习笔记(二):gradient
- pytorch学习笔记(二):gradient
- Pytorch学习笔记(二)
- pytorch学习笔记(1)--pytorch张量
- pytorch学习笔记(二) 其他机制
- Pytorch学习笔记(一)
- Pytorch学习笔记(三)
- Pytorch学习笔记(四)
- Pytorch学习笔记(五)
- Pytorch学习笔记(六)
- RNN学习笔记(二)-Gradient Analysis
- pytorch学习笔记(九):PyTorch结构介绍
- pytorch学习笔记(九):PyTorch结构介绍
- Pytorch学习笔记(一):pytorch的安装-Ubuntu14.04
- pytorch学习笔记(十七):python 端扩展 pytorch
- pytorch学习笔记(十八):C 语言扩展 pytorch
- 筛法求素数
- pytorch 学习笔记(一)
- 【企业报表数据读取与传递】【第二节】报表数据读取规则界面开发
- js高级程序设计笔记7--DOM2和DOM3
- Android适配那点事儿
- pytorch学习笔记(二):gradient
- asp.net跳转并接收参数
- firefox浏览器相关的2个坑
- 【React全家桶入门之CODE】项目代码与使用方法
- 学习记录:python糗百爬虫
- Python中关键字yield有什么作用?
- 【企业报表数据读取与传递】【第三节】报表数据展示弹出框开发
- 人工智能手机即将到来
- 使用ECLIPSE学习C++