机器学习第五周(一)
来源:互联网 发布:混沌遗传算法 编辑:程序博客网 时间:2024/06/18 05:38
1、Cost function
神经网络进行多分类结果的输出是以向量的形式,给出Cost function 并同逻辑回归做对比。
L是神经网络的层数;SL是L层的结点数(不包括偏置结点);K代表几分类。
2、Backpropagation Algorithm
同线性回归和逻辑回归用梯度下降来求解损失函数的最小值一样,我们用BP算法(反向传播算法)来求解神经网络中损失函数的最小值。
首先,以一个4层的神经网络来计算前向传播过程(即第四周的神经网络左到右顺序计算过程)。
接着引入误差概念(下图中不考虑正则项,即lamba=0)
分类的结果有多个结点,delta中L表示神经网络层,j表示结点。当通过前向传播计算出a后,则可以得出误差:
反向求前一项误差:
注意:delta只计算到第二项,因为第一层是是输入层,不需要对输入层考虑误差项。而且注意相邻项之间是点乘
对上式最后俩项有
为计算损失函数的偏导数,引入Delta = 0;并有
并且规定:
由此得到偏导数的求解,注意j取值分俩种情况。
3、Backpropagation intuition
以一个具体例子来说明计算过程,求delta(2,2)
阅读全文
0 0
- 机器学习第五周(一)
- 机器学习第五周(二)
- 机器学习-学习笔记 学习总结归纳(第五周)
- 斯坦福机器学习第五周(如何训练神经网络)
- 吴恩达机器学习笔记_第五周
- 机器学习集训营---第五周总结
- 机器学习 第五周 总结 知识点
- 机器学习第五章
- 机器学习(一)
- 机器学习(一)
- 机器学习(一)
- 机器学习(一)
- 机器学习(一)
- 机器学习 (一)
- 机器学习(一)
- 机器学习(一)
- 机器学习(一)机器学习概论
- 机器学习--(一)机器学习基础
- 项目从TOMCAT迁移到weblogic报错:hibernate.QueryException org.hibernate.hql.ast.HqlToken
- SVN服务器和客户端的搭建
- 电子邮件协议、FTP 和 CGI 编程
- Centos 环境Docker离线安装方式
- 安卓游戏接入的时候遇到的找不到V4包的方法checkSelfPermission
- 机器学习第五周(一)
- LINUX 学习第16天 redis
- hibernate多表操作1(六)多对一和一对多
- 服务器负载均衡技术
- selenium自学_元素基本定位方法
- 读取pcd文件 c++
- 欢迎使用CSDN-markdown编辑器
- mac terminal修改hosts
- Oracle之:Function :getcurrdate()