Gaussian discriminant analysis
来源:互联网 发布:黄金现货数据 编辑:程序博客网 时间:2024/06/06 10:00
同朴素贝叶斯一样,高斯判别分析(Gaussian discriminant analysismodel, GDA)也是一种生成学习算法,在该模型中,我们假设y给定的情况下,x服从混合正态分布。通过训练确定参数,新样本通过已建立的模型计算出隶属不同类的概率,选取概率最大为样本所属的类。
一、混合正态分布(multivariate normal distribution)
混合正态分布也称混合高斯分布。该分布的期望和协方差为多元的:期望,协方差,协方差具有对称性和正定性。混合高斯分布:,它的的概率密度函数为:
其中,为混合高斯分布的期望,为其协方差,表示协方差的行列式。
可以看出,随着期望的改变,图形在平面上平移,而其他特性保持不变。
二、高斯判别分析模型
如果特征值x是连续的随机变量,我们可以使用高斯判别分析模型完成特征值的分类。为了简化模型,假设特征值为二分类,分类结果服从0-1分布。(如果为多分类,分类结果就服从二项分布)
模型基于这样的假设:
他们的概率(密度)函数分别为:
模型的待估计参数为,通常模型有两个不同的期望,而有一个相同的协方差。
该模型的极大似然对数方程为:
求解该极大似然方程得:
在对计算完成之后,将新的样本x带入进建立好的模型中,计算出、,选取概率更大的结果为正确的分类。
三、GDA和logistic回归
GDA模型和logistic回归模型存在这样有趣的关系:假如我们将视作关于x的函数,该函数可以表示成logistic回归形式:
其中,可以用以为变量的函数表示。
前文中已经提到,如果为混合高斯分布,那么,就可以表示成logistic回归函数形式;相反,如果可表示成logistic回归函数形式,并不代表服从混合高斯分布。这意味着GDA比logistic回归需要更加严格的模型假设,当然,如果混合高斯模型的假设是正确的,那么,GDA具有更高的拟合度。基于以上原因,在实践中使用logistic回归比使用GDA更普遍。
- Gaussian discriminant analysis
- Gaussian discriminant analysis and Gaussian Mixture Model
- Gaussian discriminant analysis 高斯判别分析
- 高斯判别分析模型The Gaussian Discriminant Analysis model
- Gaussian Discriminant Analysis model 第一个生成学习算法模型
- 斯坦福大学公开课 :机器学习课程(Andrew Ng)——3、监督学习:Gaussian Discriminant Analysis (GDA)
- 判别分析法(Discriminant Analysis)
- Manifold Discriminant analysis+CVPR09
- LDA (linear discriminant analysis
- Fisher's linear discriminant(Linear Discriminant Analysis)
- 线性判别分析(Linear Discriminant Analysis)
- 线性判别分析(Linear discriminant analysis)
- 线性判别分析(Linear Discriminant Analysis)
- 线性判别分析(Linear Discriminant Analysis)
- fisher linear discriminant analysis(fisher线性判别分析)
- 线性判别分析(Linear Discriminant Analysis)
- Linear discriminant analysis (LDA)学习笔记
- 线性判别分析(Linear Discriminant Analysis)
- DDOS攻击原理,及通过iptables预防syn洪水攻击
- JVM GC 日志分析
- SQL Server中角色与权限管理
- 对 Linux 新手非常有用的 20 个命令
- 黑马程序员---Java基础---内部类
- Gaussian discriminant analysis
- Apache 基金会宣布 Apache Kylin 成为顶级项目
- Title_微信开放平台分账功能实战(Java版)
- 在项目里交叉使用Swift和OC
- Numeric Character Reference转NSString
- 地图相关
- js函数的作用域与this指向
- 悟
- MVC前端控制前图解