高斯判别分析与高斯混合分布之庖丁解牛(第一集)
来源:互联网 发布:历年网络购物用户规模 编辑:程序博客网 时间:2024/05/15 06:27
http://blog.csdn.net/zhangping1987/article/details/22648215
数学是科学的皇后
——“数学王子”高斯
正态分布的历史:
谈及正态分布的历史,不得不提两位数学家,第一位,Abraham de Moivre(法国裔英国籍数学家 1667.05.26---1754.11.27 中文翻译:德莫佛),在1733年,首次提出了正态分布;
第二位是“数学王子”,约翰·卡尔·弗里德里希·高斯(1777.04.30--1855.02.23),德国著名数学家、物理学家、天文学家,首先把正态分布应用于天文学的研究,高斯的这项工作对后世的影响极大,故正态分布又称高斯分布。
二维空间中的高斯分布公式:
二维空间中的可视化(举例三个高斯分布。我们发现方差越大,曲线越“矮胖”;在期望值附近出现的点的几率很大):
D维空间中高斯分布公式:
三维空间中的可视化:
高斯判别分析模型(有监督学习):
假设离散的随机变量满足以下概率分布:
随机变量满足条件概率密度函数:
联合概率密度函数:
已经数据集
取样于该联合概率密度函数。
在二维空间中上述联合概率密度函数数据采样可视化(举例取N=3),其中,分别代表三个协方差:
下面通过最大似然估计来估计未知参数
似然函数:
最大化似然函数,和最大化似然函数的对数是等价的,所以我们最大化以下函数:
首先对上面的函数针对求导,并令导数为零,结果为:
再次对上面函数最大化,针对,因为满足条件
所以,变成了一个有等式约束的最优化问题,首先构造lagrange函数,
然后对lagrange函数针对求导,令导数等于零,
在上面的等式两边同乘以,
然后两边从到求和,既得:
因为
所以得到:
所以:
。
最后对似然函数的对数针对求导(对矩阵函数,针对矩阵怎么求导及求导法则,没学明白,以后再补)只给出结果:
________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
混合高斯分布:
问题的提出:
我们看到上面的数据,一个高斯分布很难拟合的好,最好用三个高斯分布去拟合。根据这个问题我们提出高斯混合模型的公式:
其中:
用概率密度函数的定义,很容易验证上述模型是概率密度函数。
对于该模型的训练,就是用伟大的EM(期望最大值化)算法,对该算法对高斯混合分布模型的训练,下一集接着讨论!
- 高斯判别分析与高斯混合分布之庖丁解牛(第一集)
- 高斯判别分析与高斯混合分布之庖丁解牛(第一集)
- EM算法与高斯混合分布
- EM算法与高斯混合分布
- 高斯判别分析
- 高斯混合模型 + 高斯分布回顾
- 斯坦福机器学习实现与分析之五(高斯判别分析)
- 高斯判别分析中的高斯分布密度函数的理解
- 高斯判别分析(附Matlab实现)
- 高斯判别分析(附Matlab实现)
- 机器学习 --高斯判别分析
- 机器学习--高斯判别分析
- ML—高斯判别分析
- EM算法估计混合高斯分布的代码示例
- “上帝的算法”在高斯混合分布中的应用
- 单高斯分布模型GSM,高斯混合模型GMM
- 单高斯分布模型GSM,高斯混合模型GMM
- 单高斯分布模型GSM,高斯混合模型GMM
- virtualbox 出现this kernel requires an an x86-64 cpu 错误
- MyEclipse快捷键大全
- IOS9以上系统请求http报错
- Python MySQL操作
- redis(三)--Java代码-telnet可以连接成功但是出现Connect timeout问题-解决方案
- 高斯判别分析与高斯混合分布之庖丁解牛(第一集)
- Java数据泛型正确的初始化方法
- Miller-Rabin素数测试
- jvectormap 中国地图的显示
- Codeforces Round #345 (Div. 1) & CodeForces 650A Watchmen
- Activity入门(一)
- 【Windows】操作系统原理
- 第6周项目4:静态成员应用
- Android从网上下载图片