LDA与最小二乘法的关系及其变种详解
来源:互联网 发布:java继承是什么意思 编辑:程序博客网 时间:2024/06/05 20:22
1 LDA与最小二乘法的关联
对于二值分类问题,令人惊奇的是最小二乘法和LDA分析是一致的。回顾之前的线性回归,给定N个d维特征的训练样例(i从1到N),每个对应一个类标签。我们之前令y=0表示一类,y=1表示另一类,现在我们为了证明最小二乘法和LDA的关系,改变训练目标:
就是将训练目标0/1做了值替换。我们列出最小二乘法代价函数:
w和是拟合权重参数。分别对和w求导得:
从第一个式子展开可以得到:
消元后,得。又因为:
化简第二个求导式子展开后和下面的公式等价:
其中和是二值分类中类内离散矩阵和类间离散矩阵。由于
因此,最后结果仍然是:
这个过程从几何意义上去理解也就是变形后的线性回归(将类标签重新定义),线性回归后的直线方向就是二值分类中LDA求得的直线方向w。
2.LDA的变种详解
0 0
- LDA与最小二乘法的关系及其变种详解
- 最小二乘法拟合方位角与径向速度的关系
- Handler的实现原理及其与Message、MessageQueue关系详解
- 最小二乘法与最大似然估计等价关系的推导
- 最小二乘法及其c++的实现
- Topic Model的分类总结(LDA变种)
- Topic Model的分类总结(LDA变种)
- Topic Model的分类总结(LDA变种)
- Topic Model的分类总结(LDA变种)
- Topic model的变种及其应用
- QuickSort及其变种算法的总结
- 桶排序的单链表实现及其变种
- 浅论ViewState及其与Session的关系
- 浅论ViewState及其与Session的关系
- 浅论ViewState及其与Session的关系
- 浅论ViewState及其与Session的关系
- ViewState及其与Session的关系
- 浅论ViewState及其与Session的关系
- 【BZOJ】【P1510】【POI2006】【Kra-The Disks】【题解】【前缀min+二分】
- 程序设计作业报告3
- iOS中的storyboard使用 (第一部分)
- 软工之面向对象
- VS恢复调试时出现的确认对话框
- LDA与最小二乘法的关系及其变种详解
- Palindrome Number溢出怎么处理?
- 开发Openfire聊天记录插件
- 分数变小数可行的方法把整数和分数分开打用%以及POW
- 备注:AWS云上面安装Afaria服务器
- 括号匹配
- CentOS6.4下Mysql数据库的安装与配置
- 有些东西掉在了我前进的路上,我回头捡回来了。
- stm32之事件与中断区别