SVD和PCA
来源:互联网 发布:淘宝开店认证怎 编辑:程序博客网 时间:2024/05/17 07:29
简介
本文主要介绍SVD和PCA相关知识和使用Matlab分析。
SVD即奇异值分解(Singular Value Decomposition). 先作几个定义:
1、奇异值(Singular Value):方阵A的奇异值是矩阵 特征值的平方根(跟特征值个数一样多)。
2、条件数(Condition Number):条件数是最大奇异值和最小奇异值之比。
3、奇异矩阵(Singular Matrix):条件数无穷大的矩阵,其行列式(determinant)为0。
方阵特征分解
矩阵的特征分解(Eigen decomposition),又称谱分解(Spectral decomposition)。任何一个实对称m*m的矩阵A可以分解为如下的形式:
(1)
其中U是一个正交矩阵(),它的每一列是A的特征向量。是一个对角矩阵,其对角线元素是A的特征值(其排列与特征向量对应)。根据(1)式我们可以得到:
(2)
即我们熟悉的特征向量与特征值关系。
奇异值分解
任何一个实n*m (n>=m)矩阵B有如下的分解形式:
(3)
其中U是一个n*m的矩阵且各列正交(),V是一个m*m的正交矩阵(),是一个m*m包含奇异值的对角阵。
通过B我们定义两个对称阵和,可以分解如下:
(4)
(5)
那么和有m个特征值相同,而剩余n-m个特征值为0。
从上面的分解可以知道的特征向量和特征值分别为V的列和的对角元素的平方,假设为v和,那么:
(6)
易知Bv和分别是的特征向量和特征值:
(7)
主成分分析PCA
样本(i=i, 2, ..., n)的均值为,那么其协方差矩阵为:
(8)
若每个样本去掉各维数的均值:,那么协方差矩阵可以写成如下形式:
(9)
PCA就是寻在协方差矩阵最大特征值对应的特征向量,并把数据投影到这些方向上。假设特征向量为U,那么PCA对数据进行如(8)所示的线性变换:
(10)
特征向量被成为主成分,如果我们选取Y的m行,那么可以将数据从d维降到m维。
用SVD进行PCA
将X进行奇异值分解可得,那么协方差矩阵如下所示:根据方阵特征分解可知,U即为协方差矩阵的特征向量。
若样本维数d远大于样本个数n
从(6)和(7)可知我们可以分解较小的矩阵:
最终可以得到主成分: ([U S V] = svd(X))
参考资料
Singular Value Decomposition and Principal Component Analysis.
- SVD和PCA
- SVD分解和PCA
- PCA 和 SVD
- 理解PCA和SVD
- PCA和SVD
- SVD和PCA
- PCA 和 SVD
- PCA和SVD关系
- PCA和SVD降维
- PCA和svd
- SVD & PCA
- PCA,SVD
- PCA和SVD区别和联系
- PCA和SVD区别和联系
- 从PCA和SVD的关系拾遗
- 从PCA和SVD的关系拾遗
- 一个讲解PCA和SVD很好的教程
- 机器学习实战——PCA和SVD
- 上班族20~50岁职业生涯规划术
- SDUTOJ2304
- 大神的博客地址
- 23个设计模式之代理模式(1)
- [CODE]UIUC同学Jia-Bin Huang收集的计算机视觉代码合集
- SVD和PCA
- STL系列之九 探索hash_set
- 给毕业生选择工作的六步建议
- AIX下crontab不执行
- 2013-11-01 实验之足球比赛夺冠模拟(概率公平原理)
- hdu-1715-大菲波数
- [翻译Joel On Software]回归基础/Back to Basics
- VS2010下配置MPI
- java中的(PO,VO,TO,BO,DAO,POJO)