PCA主成分分析学习笔记 + Matlab实现
来源:互联网 发布:全国网络110报案中心 编辑:程序博客网 时间:2024/05/21 04:48
综述
PCA (Principal Component Analysis) 主成分分析是目前最常用的数据降维方法之一,主要思路是将n维的数据投影到k(n>k)维空间超平面(直线的高维推广)上面去,使得各个样本点到超平面的投影距离最小(欧式距离)且方差最大。
简单的理解就是你给一个人拍照,要选择什么方向拍才能体现这个人的最多特征,大概就是给这个人拍一个正面的全身照,才能保留这个人的最多图像信息。如果拍侧面照或者从头顶照得到的信息就会非常有限。
再举一个二维数据降维到一维的例子:图中各个颜色的X代表样本坐标点,可以看出相关性比较大(X1轴X2轴单位是inch与cm),所以我们可以找一条直线,将各个样本点投影到直线上,作为我们的一维数据。这里跟线性回归的差别是PCA要最小化点到直线的投影(L2 norm),而线性回归要最小化曼哈顿距离(L1 norm)
具体降维过程
将数据均值归一化。计算出所有特征的均值
μ 并计算出Xi=Xi−μ 。如果特征是
在不同的数量级上,我们还需要将其除以标准差σ2 计算协方差矩阵(covariance matrix)Σ sigma 根据协方差公式:
Σ(A1,A2)=(xi−x¯)(yi−y¯)(n−1) Σ={0.6165555560.6154444440.6154444440.716555556}
或者在Matlab中使用计算协方差矩阵 Σ 的特征向量(eigenvectors)
v→ 与特征值(eigenvalues)λ
根据Mv→ = λv→ 计算行列式|M-λI|=0可以得出v→={−.735178656.677873399−.677873399−.735178656} λ={.04908339891.28402771}
在 Matlab中可以使用函数- [V,D]=eig(A):求矩阵A的全部特征值,构成对角阵D,并求A的特征向量构成V的列向量。
- [U,S,V] = svd(A):产生一个与X维度相同的对角矩阵S,并且降序排列非负对角元素。并且酉矩阵U和V使得X = U*S*V
其中svd是singular value decomposition奇异值分解,这里就不再赘述,详情可以看这里
保留特征值最大的k(n维数据降到k维)个值,并使用删减过的特征矩阵 * 均一化矩阵 = FearureVector * DataAdjust 得到一个 n×k 维度的矩阵
如果使用SVD函数,返回的的 U 是一个具有与数据之间最小投射误差的方向向量构成的矩阵。如果我们希望将数据从 n 维降至 k 维,我们只需要从 U 中选取前 k 个向量,我们用Ureduce 表示,然后通过如下计算获得要求的新特征向量z(i) z(i)=UTreducex(i) 最后可以使用
∑ki=1λi∑ni=1λi 来计算最终保留的方差比例。
代码实现
function [U, S] = pca(X)%PCA Run principal component analysis on the dataset X% [U, S, X] = pca(X) computes eigenvectors of the covariance matrix of X% Returns the eigenvectors U, the eigenvalues (on diagonal) in S%[m, n] = size(X);U = zeros(n);S = zeros(n);sigma = X' * X / m;[U, S, X] = svd(sigma);endfunction Z = projectData(X, U, K)%on to the top k eigenvectors% Z = projectData(X, U, K) computes the projection of % the normalized inputs X into the reduced dimensional space spanned by% the first K columns of U. It returns the projected examples in Z.%Z = zeros(size(X, 1), K);for i = 1:size(X,1) for k = 1:K x= X(i, :)'; Z(i,k) = x' * U(:, k); endendend% Run PCA[U, S] = pca(X_norm);K = 100;Z = projectData(X_norm, U, K);
数学证明
可以参考周志华的机器学习P229或者这里
总结
数据降维的意义与作用举例:
- 数据压缩:可以提升机器学习算法效率与节省储存空间
- 数据可视化:将数据降维到1-3维,更好地呈现数据
与LDA对比
线性判别分析(Linear Discriminant Analysis, LDA) 学习笔记
http://blog.csdn.net/asd136912/article/details/78757482
- PCA主成分分析学习笔记 + Matlab实现
- 主成分分析PCA的matlab实现
- PCA (主成分分析)matlab实现
- PCA主成分分析学习笔记
- [机器学习]PCA主成分分析原理分析和Matlab实现方法
- MatLab建模学习笔记13——主成分分析(PCA)
- PCA(主成分)分析及MATLAB实现
- PCA主成分分析学习
- PCA (主成分分析)详解结合matlab
- 机器学习算法笔记系列之深入理解主成分分析PCA-Python实现篇
- 【机器学习算法-python实现】PCA 主成分分析、降维
- PCA主成分分析Python实现
- PCA主成分分析Python实现
- PCA主成分分析实现降维
- PCA主成分分析Python实现
- 从零开始实现主成分分析(PCA)算法
- OpenCV实现主成分分析(PCA)
- 主成分分析(PCA)学习有感
- 第二章课后习题
- 笔记5
- 大数据课程笔记4:摘要结构,streaming algorithm
- UVA-1609 Foul Play
- C语言
- PCA主成分分析学习笔记 + Matlab实现
- 二傻的线段树~
- Detect to Track and Track to Detect
- python 文件操作,最全的一个(转)
- 并查集的按秩合并
- 软件工程(C编码实践篇) 实验四:用可重用的链表模块来实现命令行菜单小程序V2.5
- Linux文本处理三剑客之awk命令
- 乔布斯自传(笔记)——第一回合
- laravel migrate 时出现错误 [PDOException] SQLSTATE[HY000]: General error: 1215 Cannot add foreign key