能量函数在神经网络中的含义
来源:互联网 发布:加工中心圆怎么编程 编辑:程序博客网 时间:2024/06/06 04:27
能量函数在神经网络中的含义
能量函数(energy function)一开始在热力学中被定义,用于描述系统的能量值,当能量值达到最小时系统达到稳定状态。
在神经网络(Neural Network)中,在RBM中被首次使用。在RBM中,输入层v和隐藏层h之间的能量函数定义为:
E(v,h)=∑i∈vaivi+∑j∈hbjhj+∑i∈v,j∈hvihjwij
将a,v,b,h和w向量表示成矩阵,这个式子可以简化为
E(v,h)=A×V+B×H+V×W×H
A,B,W都是权重矩阵,从式中可以看出,这个能量函数为V和H的加权与VH的加权和。在后续的步骤中,v和h的联合概率为p(v,h)=1zeE(v,h),其中z为归一化因子。训练的目的为使得联合概率尽量大,即能量函数尽量小。从这个角度出发,能量函数的意义与热力学相同,能量函数值越小,系统趋于稳定。所以能量函数是反映系统稳定程度的参考指标,在这个意义上与代价函数(cost function)相似。
Bengio 大牛在其 2003年的JMLR 论文中的未来工作一段,他提了一个能量函数,把输入向量和输出向量统一考虑,并以最小化能量函数为目标进行优化。在这个意义上,能量函数和代价函数本质上是一样的。
0 0
- 能量函数在神经网络中的含义
- 能量函数在神经网络中的意义
- 神经网络中的能量函数
- 激活函数在神经网络中的功能
- C++中的const在变量和函数中的含义
- 神经网络中的softmax函数
- 神经网络中的激活函数
- 神经网络中的激活函数
- 神经网络中的sigmoid函数
- 神经网络中的激活函数
- 神经网络中的激活函数
- 神经网络中的损失函数
- 理解激活函数在神经网络模型构建中的作用
- 理解交叉熵作为损失函数在神经网络中的作用
- 对不同激活函数在神经网络中的比较分析
- 能量函数
- 在用C++写函数时,在函数定义中的WINAPI代表什么含义?
- 浅析神经网络中的激活函数
- C语言宏定义,内置宏,__FILE__,__LINE__,## 用法
- 统计学习方法之感知机对偶形式Java实现代码
- 电信光纤——光猫——路由器,如何映射,外网访问
- UVa - 10048 - Audiophobia ( Floyd 变形 )
- 将 FOREIGN KEY 约束 'FK_dbo.Employees_dbo.Admins_AdminID' 引入表 'Employees' 可能会导致循环或多重级联路径。请指定 ON DELETE
- 能量函数在神经网络中的含义
- 堆(heap)和栈(stack)的区别
- 设计模式之代理模式
- UVa 202 - Repeating Decimals
- 本地maven环境配置
- android Fragment动态加载的使用详解
- 2016年12月19日学习总结----C语言程序优化
- 数据结构之单链表的简单操作
- CH9,P159,闰年检测