pca 到核PCA ---------

来源:互联网 发布:java接收app文件上传 编辑:程序博客网 时间:2024/04/29 10:03
•During training data, there are some questions, such as, noise and rotation, redundancy, less number of samples.

üPCA is an orthogonal

     transformation of the

     coordinate system.

üThe principal components

     correspond to the largest k

     eigenvectors.

üA nonlinear form of PCA


在学习PCA(参见A tutorial on Principal Components Analysis---2002 Smith 和A tutorial on principal component analysis--2014)的时候,了解了PCA是一种能够提取数据中线性信息的一种方法,是基于坐标的映射转换,能够通过少量的属性来表征原始的样本数据,实现降维,广泛应用于计算机视觉、图像压缩中。

PCA是基于方差理论的求解或者说优化,也可以说是能量(可以证明),在求解最小均方误差的时候,还是需要求解方向,有点困难。但是基于最小二乘理论是可以完成的。

在实际的应用过程中,我们处理的数据很复杂,极有可能不是线性的,或者是信息的非线性相关性很强,或者不符合高斯分布,这时候我们使用PCA就可能不能得到理想的效果,需要考虑其他能够表征数据的本质特征的更好的方法,比如ICA, kernel PCA 等等

kernal PCA 是在处理数据之前,将数据进行映射,转换到特征空间F上去求解,其实虽然维数可能是升高了,但实际是对非线性信息进行了线性提取,能够在高维空间进行线性表示,然后出去这种线性表示的数据的冗余,达到降维的目的(参见kernel principal component analysis)

在这个过程中引入了核函数,但是核函数这个矩阵怎么和原始的PCA的协方差矩阵联系,有点困惑?
尤其是对于多项式核函数,这个映射是怎么能够求解显示表达的?


的关系?



0 0