斯坦福机器学习实现与分析之五(高斯判别分析)
来源:互联网 发布:淘宝宝贝图片制作软件 编辑:程序博客网 时间:2024/04/29 12:11
斯坦福机器学习实现与分析之五(高斯判别分析)
高斯判别分析(GDA)简介
首先,高斯判别分析的作用也是用于分类。对于两类样本,其服从伯努利分布,而对每个类中的样本,假定都服从高斯分布,则有:
这样,根据训练样本,估计出先验概率以及高斯分布的均值和协方差矩阵(注意这里两类内部高斯分布的协方差矩阵相同),即可通过如下贝叶斯公式求出一个新样本分别属于两类的概率,进而可实现对该样本的分类。
GDA详细推导
那么高斯判别分析的核心工作就是估计上述未知量
注意此函数第一部分只和
此处
同样地,对
令其为0,可求解得:
根据对称性可直接得出:
下面对
进而有:
这里推导用到了:
令其为0,从而求得:
上面的推导似乎很复杂,但其结果却是非常简洁。通过上述公式,所有的参数都已经估计出来,需要判断一个新样本x时,可分别使用贝叶斯求出p(y=0|x)和p(y=1|x),取概率更大的那个类。
实际计算时,我们只需要比大小,那么贝叶斯公式中分母项可以不计算,由于2个高斯函数协方差矩阵相同,则高斯分布前面那相同部分也可以忽略。实际上,GDA算法也是一个线性分类器,根据上面推导可以知道,GDA的分界线(面)的方程为:
取对数展开后化解,可得:
若
这就是GDA算法的线性分界面。
GDA实现
这里也采用前面讲逻辑回归生成的数据来进行实验,直接load进来进行处理,详见逻辑回归。GDA训练代码如下:
测试代码:
训练结果如下,训练样本中,正负样本均为100个,故
改变正负样本数量,即相当于改变先验概率,则实验结果如下(相应的
算法分析
1.与逻辑回归的关系
根据上面的结果以及贝叶斯公式,可有
而
那么,令
则
这不就是逻辑回归的形式么?
在推导逻辑回归的时候,我们并没有假设类内样本是服从高斯分布的,因而GDA只是逻辑回归的一个特例,其建立在更强的假设条。故两者效果比较:
a.逻辑回归是基于弱假设推导的,则其效果更稳定,适用范围更广
b.数据服从高斯分布时,GDA效果更好
c.当训练样本数很大时,根据中心极限定理,数据将无限逼近于高斯分布,则此时GDA的表现效果会非常好
2.为何要假设两类内部高斯分布的协方差矩阵相同?
从直观上讲,假设两个类的高斯分布协方差矩阵不同,会更加合理(在混合高斯模型中就是如此假设的),而且可推导出类似上面简洁的结果。
假定两个类有相同协方差矩阵,分析具有以下几点影响:
A.当样本不充分时,使用不同协方差矩阵会导致算法稳定性不够;过少的样本甚至导致协方差矩阵不可逆,那么GDA算法就没法进行
B.使用不同协方差矩阵,最终GDA的分界面不是线性的,同样也推导不出GDA的逻辑回归形式
3.使用GDA时对训练样本有何要求?
首先,正负样本数的比例需要符合其先验概率。若是预先明确知道两类的先验概率,那么可使用此概率来代替GDA计算的先验概率;若是完全不知道,则可以公平地认为先验概率为 50%。
其次,样本数必须不小于样本特征维数,否则会导致协方差矩阵不可逆,按照前面分析应该是多多益善。
- 斯坦福机器学习实现与分析之五(高斯判别分析)
- 斯坦福机器学习: 网易公开课系列笔记(五)——高斯判别分析、朴素贝叶斯
- 斯坦福机器学习笔记1:GDA高斯判别分析算法的原理及matlab程序实现
- 生成模型、高斯判别分析、朴素贝叶斯——斯坦福CS229机器学习个人总结(二)
- 机器学习 --高斯判别分析
- 机器学习--高斯判别分析
- 斯坦福机器学习实现与分析之二(线性回归)
- 【机器学习】机器学习(四、五、六):线性分类、高斯判别分析(GDA)、朴素贝叶斯(NB)
- <机器学习练习>高斯判别分析GDA
- 【机器学习-斯坦福】学习笔记18——线性判别分析(Linear Discriminant Analysis)(一)
- 【机器学习-斯坦福】学习笔记19——线性判别分析(Linear Discriminant Analysis)(二)
- Stanford机器学习课程笔记2-高斯判别分析与朴素贝叶斯
- Stanford机器学习课程笔记2-高斯判别分析与朴素贝叶斯
- 斯坦福机器学习笔记五
- 斯坦福大学机器学习——高斯判别分析
- 【转载】斯坦福大学机器学习——高斯判别分析
- 机器学习之线性判别分析(LDA) 主成分分析(PCA)
- 高斯判别分析(附Matlab实现)
- crackme2(简单算法)
- 回溯法基本框架
- IOS去掉NavigationBar底部的那条黑线
- CSS基本样式
- 读取当前目录下CIniFile类文件
- 斯坦福机器学习实现与分析之五(高斯判别分析)
- Catalan数计算及应用
- 运动补偿与运动估计
- Linux C/C++ 模板:模板安全
- 在javascript中关于局部变量和全局变量简析
- POJ 1316 Self Numbers
- Android之请求码和返回码
- 修改UIWebView中字体的大小
- 高性能高并发 面试