最小平方误差判别 MSE
来源:互联网 发布:淘宝自定义内容区代码 编辑:程序博客网 时间:2024/05/22 10:27
最小平方误差判别准则函数
对于上一节提出的不等式组:
在线性不可分的情况下,不等式组不可能同时满足。一种直观的想法就是,希望求一个a*使被错分的样本尽可能少。这种方法通过求解线性不等式组来最小化错分样本数目,通常采用搜索算法求解。
为了避免求解不等式组,通常转化为方程组:
矩阵形式为:。方程组的误差为:,可以求解方程组的最小平方误差求解,即:
Js(a) 即为最小平方误差(Minimum Squared-Error,MSE)的准则函数:
准则函数最小化方法
准则函数最小化通常有两种方法:违逆法,梯度下降法。
伪逆法
Js(a) 在极值出对a的梯度为零,即:
于是,得到,其中是矩阵Y的伪逆。
一个具体的求解示例如下:
梯度下降法
梯度下降法在每次迭代时按照梯度下降方向更新权向量:
直到满足或者时停止迭代,ξ是事先确定的误差灵敏度。
参照感知器算法中的单步修正法,对MSE也可以采用单样本修正法来调整权向量:
这种算法即Widrow-Hoff算法,也称作最小均方根算法或LMS(Least-mean-square algorithm)算法。
(转载请注明作者和出处:http://blog.csdn.net/xiaowei_cqu 未经允许请勿用于商业用途)
0 0
- 最小平方误差判别 MSE
- 最小平方误差判别 MSE
- 【模式识别】最小平方误差判别 MSE
- 模式识别(Pattern Recognition)学习笔记(十)--最小平方误差判别(MSE)
- 模式识别(Pattern Recognition)学习笔记(十)--最小平方误差判别(MSE)
- PCA算法的最小平方误差解释
- 均方误差(MSE)
- 极大似然和最小平方误差等价关系
- 平方数判别
- mse函数(均方误差函数)
- 主成分分析(Principal components analysis)-最小平方误差解释
- PCA--主成分分析(Principal components analysis)-最小平方误差解释
- 主成分分析(Principal components analysis)-最小平方误差解释
- PCA(主成分分析)--- 从最小平方误差角度分析
- 主成分分析(Principal components analysis)-最小平方误差解释
- 主成分分析(Principal components analysis)-最小平方误差解释
- 主成分分析(Principal components analysis)-最小平方误差解释
- 主成分分析(Principal components analysis)-最小平方误差解释
- 反向传播神经网络 BPNN
- 多层感知器 MLP
- 归并排序
- 支付宝转账被骗了该怎么办能追回吗
- 练手~~~
- 最小平方误差判别 MSE
- LINUS IPtables 封IP段
- python学习之使用mysql
- 【POJ】 2031 Building a Space Station
- ReferenceQueue的使用
- 感知器 Perceptron
- Activity启动模式与FLAG及TaskAffinity
- 类目,延展,协议
- VirtualBox 常用快捷键