神经网络推导
来源:互联网 发布:windows phone 10小米 编辑:程序博客网 时间:2024/05/18 16:57
首先介绍一个学习DL4NLP的一个网站WildML,英文的,有空我也整理一下中文版。
这篇讲的是神经网络的基础,没有RNN、CNN等结构。废话少说,直接上要推导的一个简单的神经网络结构图。
例子:三层神经网络
这个神经网络包含一个输入层、一个隐含层和一个输出层。
注意输出的神经元有两个(多个),这个经常用在一个二(多)分类任务上,代表着每一类的概率,相应的激活函数变成了softmax函数(相当于多分类逻辑回归)。当然,如果用在其他任务上,输出结点的值含义可能不同,取值范围也可能不同。
softmax函数
导数:
激活函数
常用的激活函数有tanh、sigmoid和ReLU。激活函数是一个学问,需要单独整理一块。
下面简单叙述一下各个函数的表达式:
tanh
sigmoid
ReLU
前向传播公式
例子使用tanh激活函数,最后用softmax函数生成分布。
损失函数
这里使用cross entropy作为损失函数,表达式为:
其中N是样本数量,C是类别集合。
反向传播中的梯度求解
这里定义第l层第i个单元的计算误差:
其中
我们的目标是要求参数的所有参数的梯度,即
这里推导通用的情况。
我们对
根据
这里的
表达为矩阵形式,
注意.*为矩阵对应元素之间两两相乘。
这样就可以反向传播求所有神经元的计算误差。
最后,
代入例子中计算梯度
计算第三层第i单元的计算误差
*第三层的所有计算误差用
计算
计算关于
计算关于
到此,所有的
参考资料:
http://www.wildml.com/2015/09/implementing-a-neural-network-from-scratch/
- 神经网络推导
- BP神经网络算法推导
- 神经网络及BP推导
- BP神经网络原理推导
- BP神经网络算法推导
- 神经网络公式推导
- BP神经网络算法推导
- BP神经网络推导
- 分分钟推导神经网络
- 分分钟推导神经网络
- BP神经网络公式推导
- RNN 神经网络数学推导
- 从神经网络到卷积神经网络数学推导
- 卷积神经网络BP算法推导
- CNN卷积神经网络反向推导
- BP神经网络推导过程详解
- 卷积神经网络反向推导算法
- 神经网络与BP算法推导
- 数据结构和算法系列之 二叉树
- 《疯狂Java讲义》chapter 5 面向对象(上)
- Double类型的数相加会出错
- PHP与Mysql浅析
- HDU 1010
- 神经网络推导
- 数据结构实验之查找一:二叉排序树
- 大项目设计和管理复盘
- 如何解决ubuntu下apt-get install g++依赖问题
- 记住密码页面返回时出错400
- 写代码的小女孩
- TCP任何保证可靠的数据传输?
- CMake入门实战
- MySQL创建用户的三种方法