线性判别分析(二)——Bayes最优分类器的角度看LDA
来源:互联网 发布:淘宝买家旺旺提取 编辑:程序博客网 时间:2024/05/29 14:22
线性判别分析(一)——LDA介绍
线性判别分析(二)——Bayes最优分类器的角度看LDA
在线性判别分析(一)——LDA介绍 一文中,我们介绍了LDA的基本思想、算法,但其实严格来讲博客中介绍的都是FDA。本文我们就来探究一下LDA的真面目。
1 Bayes准则
关于贝叶斯最优分类器的介绍请参考周志华的《机器学习》P147。对分类问题,在所有概率都已知的情况下,贝叶斯决策论考虑如何根据这些概率以及误判损失来选择最优类别标记。直接引入概念:
贝叶斯判定准则
为最小化总体风险,需要在每个样本上选择那个能使条件风险R(c|x)R(c|x) 最小的类别标记,即h^*(x)=\arg \min_{c\in {\cal Y}}R(c|x).h∗(x)=argminc∈YR(c|x).
h∗ 称为贝叶斯最优分类器。
当学习目标是最小化分类错误率时,条件风险
于是贝叶斯最优分类器为
再利用贝叶斯定理得到
这意味着,根据贝叶斯判定准则,对每个样本,我们需要选择使
机器学习的任务就是根据训练数据去估计概率分布
2 LDA新视角
在LDA中,我们假设
其中d是实例x的维数,
由于协方差矩阵决定着高斯分布的形状,所以在LDA中,所有类别的高斯分布形状相同,只是位置不同。下面是LDA模型概率分布的一个例子:
2.1 最优分类器
假设我们已经知道协方差矩阵
其中,
我们把(5)代回(4)中得到
这就是LDA的最优分类器。对于任意一个样本x,我们只需要把它代入上面的表达式,看哪个类别对应的值最大。
2.2 决策边界
记
称为线性判别函数。
有
于是类别k和类别l之间的决策边界为
也就是
这是关于x的线性函数,对应超平面的法向量为
2.3 估计概率分布
现在我们需要根据训练数据估计
2.3.1 P(c)
根据极大似然估计法,可以得到
其中
2.3.2 μc
用样本均值作为总体均值的估计:
2.3.3 Σ
协方差矩阵
首先,对每个类别计算样本协方差矩阵,然后把所有类别的样本协方差矩阵相加,并用
其中
总结
如果想要用LDA算法进行分类,首先需要根据公式(12)(13)(14)估计参数,这其实就是训练过程。在预测时,根据公式(7)计算得到每个类别的判别值,取最大值对应类别作为预测结果。
3 LDA v.s. FDA
公式(11)对应LDA得到的分类超平面的法向量,是不是似曾相识?回忆一下FDA的投影方向:
如果假设所有类别对应的协方差矩阵相同,那么有
那么问题来了,上面推导的LDA分类器和FDA分类器之间到底是啥关系呢?
LDA是在损失函数为分类错误率时,假设类内数据服从高斯分布并且协方差矩阵,得到的分类器。损失函数为分类错误率时,每个样本最优标记由(1)确定;而
参考
[1] 9.2 - Discriminant Analysis
- 线性判别分析(二)——Bayes最优分类器的角度看LDA
- 线性判别分析(LDA)实现二分类的思路
- LDA 线性判别分析(二)
- 线性判别分析LDA的数学原理(二)
- 线性判别分析(LDA)
- 线性判别分析 (LDA)
- 线性判别分析(LDA)
- 线性判别分析(LDA)<->
- 线性判别分析(LDA)
- 线性判别分析(LDA)
- 线性判别分析(LDA)
- 线性判别分析(一)——LDA介绍
- 使用LDA线性判别分析进行多类的训练分类
- 使用LDA线性判别分析进行多类的训练分类
- 线性判别分析算法(LDA)
- LDA 线性判别分析(一)
- LDA 线性判别分析(转)
- 降维-线性判别分析(LDA)
- 使用configobj 来访问配置文件
- LINUX虚拟机与主机的文件交互
- 数据库锁表与解锁
- OGG12实时同步oracle到mysql基础配置
- Tensorflow-axis参数解析
- 线性判别分析(二)——Bayes最优分类器的角度看LDA
- 客户信息管理系统5—客户信息的删除(一)
- 探究 Content-Disposition:解决下载中文文件名乱码
- visibility和display的区别
- HTTP又被弃!微信公众号API仅支持HTTPS调用
- 应用服务器,灵活定义后台操作,一个数据库中操作,多个数据库中操作
- 彻底理解Python迭代器
- 模糊查询&精确查询
- [bigdata-119] 一个基于redis的简单分布式log系统