机器学习(十七)主成分分析(Principle Component Analysis)
来源:互联网 发布:html5 javascript 编辑:程序博客网 时间:2024/06/05 03:17
PCA− 主成分分析
本文由 @lonelyrains出品,转载请注明出处。
文章链接: http://blog.csdn.net/lonelyrains/article/details/49615105
想法来源:数据压缩、可视化
PCA 的算法
- 样本属性缩放归一化,计算样本向量集的协方差矩阵
- 计算协方差矩阵的特征向量矩阵
U ,将明显差异的左起K 列挑出来UReduce ,不明显的余下部分则近似认为是常数,以达到降维的目的 - 提出来的
K 个特征向量与原样本集相乘,得到映射的K维样本集
上图中的U是一个n∗n 的矩阵。要度量降维保真效果,可以用方差与模长平方比。如下图,则称保真度≥ 99%:
其中,svd 函数(octave 和matlab 都支持)返回的第二个矩阵S ,斜对角值就是方差。如下图: - 有降维肯定也要涉及怎么还原。还原公式如下图右下角手写部分:
PCA 与线性回归的不同
线性回归是不改变样本输入参数
PCA 的补充材料
PCA 作用
因为
但是如果监督学习时过度拟合,是不推荐用
特征向量
特征向量是个非常重要的概念。向量是变换的特征向量。变换所在的空间越高维,可能的特征向量就越多。
参考链接 Wikipedia、博客(该博客说明有误导性:特征向量的长度值经A矩阵变换之后是可变的,而方向不变。当且仅当特征值
0 0
- 机器学习(十七)主成分分析(Principle Component Analysis)
- 主成分分析(principle component analysis)介绍
- 主成分分析(Principal Component Analysis)
- Principal Component Analysis(主成分分析)
- 【机器学习-斯坦福】学习笔记16 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- 独立成分分析(Independent Component Analysis)
- json字符串解析问题---有网和无网的情况下都要给用户友好的体验问题
- LeetCode--Number of 1 Bits
- Java MD5 加密工具类
- Core Text
- make: *** [sapi/cli/php] Error 1 安装php的时候出现
- 机器学习(十七)主成分分析(Principle Component Analysis)
- 《做主管常犯的毛病》总结
- iOS9 系统分享调用(UIActivityViewController)
- java学习之编译时类型和运行时类型
- Android NDK开发之《HelloJni》
- IOS开发之 ---- iOS8中提示框的使用UIAlertController(UIAlertView和UIActionSheet二合一)
- 索引重建
- 百度地图SDK 无法load lib库
- LeetCode--Valid Anagram