线性神经网络模型与学习算法
来源:互联网 发布:mac系统怎么安装 编辑:程序博客网 时间:2024/05/30 19:32
线性神经网络类似于感知器,但是线性神经网络的激活函数是线性的,而不是硬转移函数,因此,线性神经网络的输出可以是任意值,而感知器的输出不是0就是1。线性神经网络和感知器一样只能求解线性可分的问题。因此,线性神经网络的限制和感知器相同。
线性神经元网络模型
线性神经元与感知器神经元具有相似的结构,唯一的不同是线性神经元使用了线性传递函数purelin,因此与感知器神经网络不同,线性神经网络的输出可以是任意的。
线性神经元的输出可以由以下公式进行计算
当输出y等于0的时候,可以画出它们的分界线。位于分界线上面的输入向量能够产生大于0的网络输出,位于分界线下面的输入向量能产生小于0的网络输出。因此线性神经元只能逼近一个线性函数,而不能完成逼近非线性函数的计算。其局限性与感知神经网络相同。
线性神经网络的学习算法
线性神经网络采取的学习规则是Widrow-Hoff学习规则,又称为最小均放误差(LMS)学习算法,它基于负梯度下降的原则来减小网络的训练误差。最小均方误差学习算法也属于监督类学习算法。
假设
可以看出,其性能指标是一个二次方程,所以要么具有全局最小值,要么没有最小值,而选择什么样的输入向量恰恰会决定网络的性能指标会有什么样的最小值。
如果考虑第k次循环时训练误差的平方对网络权值和阈值的二阶偏微分,会得到如下公式:
再计算此时的训练误差对网络权值和阈值的一阶偏微分:
或者:
其中
根据负梯度下降原则,网络权值和阈值的改变量应该是
所以网络权值和阈值修正公式如下:
其中
当
- 线性神经网络模型与学习算法
- BP神经网络模型与学习算法
- BP神经网络模型与学习算法
- BP神经网络模型与学习算法
- BP神经网络模型与学习算法
- BP神经网络模型与学习算法
- BP神经网络模型与学习算法
- BP神经网络模型与学习算法
- BP神经网络模型与学习算法
- BP神经网络模型与学习算法
- 感知神经网络模型与学习算法
- BP神经网络模型与学习算法
- 自组织神经网络模型与学习算法
- BP神经网络模型与学习算法
- 径向基函数神经网络模型与学习算法
- 机器学习算法-线性模型
- 神经网络学习笔记(七):线性回归模型(上)
- 神经网络学习笔记(八):线性回归模型(下)
- Android_SwipeRefreshLayout 实现下拉刷新
- PHP 会话控制(session与cookie)
- android Asstes的用法总结
- Windows核心编程 第十七章 -内存映射文件(上)
- ReflectUitls类的编写和对反射机制的解析
- 线性神经网络模型与学习算法
- java项目中配置Log4j
- python 阿里云DNS解析作为DDNS使用
- MapReduce Shuffle原理 与 Spark Shuffle原理
- RxJava(新手推荐一)
- .net Core 自我学习随笔(二)——非 Visual Studio 下 MVC 的搭建方法
- 简单的利用数据库实现登录界面
- MIME类型介绍
- AfxGetApp(),this->GetSafeHwnd(),AfxGetMainWnd()->m_hWnd