机器学习——BP神经网络模型
来源:互联网 发布:淘宝哪家店铺级别最高 编辑:程序博客网 时间:2024/05/11 21:38
一、什么是BP
BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用梯度下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)。
我们现在来分析下这些话:
- “是一种按误差逆传播算法训练的多层前馈网络”
BP是后向传播的英文缩写,那么传播对象是什么?传播的目的是什么?传播的方式是后向,可这又是什么意思呢。
传播的对象是误差,传播的目的是得到所有层的估计误差,后向是说由后层误差推导前层误差:
即BP的思想可以总结为
- “BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)”
我们来看一个最简单的三层BP:
- 网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。”
BP利用一种称为激活函数来描述层与层输出之间的关系,从而模拟各层神经元之间的交互反应。
激活函数必须满足处处可导的条件。那么比较常用的是一种称为S型函数的激活函数:
那么上面的函数为什么称为是S型函数呢:
我们来看它的形态和它导数的形态:
p.s. S型函数的导数:
神经网络的学习目的:
学习的核心:
权值调整规则,即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。
二、有监督的BP模型训练过程
1. 思想
有监督的BP模型训练表示我们有一个训练集,它包括了: input X 和它被期望拥有的输出 output Y
所以对于当前的一个BP模型,我们能够获得它针对于训练集的误差
所以BP的核心思想就是:将输出误差以某种形式通过隐层向输入层逐层反传,这里的某种形式其实就是:
也就是一种 "信号的正向传播 ----> 误差的反向传播"的过程:
2.具体
想要了解更多,请扫描关注数据分析师Nieson的微信公众号!
- 机器学习——BP神经网络模型
- 机器学习——BP神经网络算法
- 机器学习——BP神经网络算法应用(上)
- 机器学习——BP神经网络算法应用(下)
- 机器学习之BP神经网络
- 机器学习之——神经网络模型
- 简单易学的机器学习算法——神经网络之BP神经网络
- 机器学习算法(分类算法)—神经网络之BP神经网络
- MATLAB神经网络编程(五)——BP神经网络的模型结构与学习规则
- 斯坦福机器学习-week5 学习笔记(1)——神经网络训练BP算法与Gradient checking
- 【R笔记】R机器学习(十四)——BP神经网络
- 【Python】scikit-learn机器学习(二)——BP神经网络
- 机器学习系列(6):BP神经网络
- FPGA 机器学习之BP神经网络1
- FPGA 机器学习之BP神经网络2
- FPGA 机器学习之BP神经网络3
- FPGA机器学习之BP神经网络4
- 机器学习(九)初识BP神经网络
- sql 语句中char varchar 以及nvchar 区别是什么?
- 如何为Android缓存数据到本地
- mybatis中$和#区别
- 【ZOJ3947 The 13th Zhejiang Provincial Collegiate Programming ContestL】【水题】Very Happy Great BG 简单求和
- B树
- 机器学习——BP神经网络模型
- Oracle12c学习(三)---虚拟机win2008r2系统下Oracle Rac安装配置
- filter
- nyoj 56/70(阶乘的因式分解)
- javascript浏览器参数的操作,js获取浏览器参数
- python 批量下载文件
- python逆序切片
- url的三个js编码函数escape(),encodeURI(),encodeURIComponent()简介
- Shallow size和Retained size