Python机器学习应用 | 降维——PCA方法及其应用
来源:互联网 发布:淘宝美工的工作内容 编辑:程序博客网 时间:2024/06/03 06:10
1 主成分分析(PCA)
1、主成分分析(Principal Component Analysis,PCA)是最常用的一种降维方法,通常用于高维数据集的探索与可视化,还可以用作数据压缩和预处理等。
2、PCA可以把具有相关性的高维变量合成为线性无关的低维变量,称为主成分。主成分能够尽可能保留原始数据的信息。
3、矩阵的主成分就是其协方差矩阵对应的特征向量,按照对应的特征值大小进行排序,最大的特征值就是第一主成分,其次是第二主成分,以此类推。
2 算法过程
输入:样本集
过程:
1、对所有样本进行中心化:
2、计算样本的协方差矩阵
3、对协方差矩阵
4、取最大的
输出:投影矩阵
3 sklearn中主成分分析
在sklearn库中,可以使用sklearn.decomposition.PCA加载PCA进行降维,主要参数有:
• n_components:指定主成分的个数,即降维后数据的维度
• svd_solver :设置特征值分解的方法,默认为‘auto’,其他可选有‘full’, ‘arpack’, ‘randomized’。
4 PCA实现高维数据可视化
4.1 背景
目标:已知鸢尾花数据是4维的,共三类样本。使用PCA实现对鸢尾花数据进行降维,实现在二维平面上的可视化。
4.2 程序编写
4.2.1 建立工程,导入sklearn相关工具包:
>>> import matplotlib.pyplot as plt#加载matplotlib用于数据的可视化>>> from sklearn.decomposition import PCA#加载PCA算法包>>> from sklearn.datasets import load_iris#加载鸢尾花数据集导入函数
4.2.2 加载数据并进行降维
>>> data = load_iris()#以字典形式加载鸢尾花数据集>>> y = data.target #使用y表示数据集中的标签>>> X = data.data #使用X表示数据集中的属性数据>>> pca = PCA(n_components=2)#加载PCA算法,设置降维后主成分数目为2>>> reduced_X = pca.fit_transform(X)#对原始数据进行降维,保存在reduced_X中
4.2.3 按类别对降维后的数据进行保存
>>> red_x, red_y = [], []#第一类数据点>>> blue_x, blue_y = [], []#第二类数据点>>> green_x, green_y = [], []#第三类数据点>>> for i in range(len(reduced_X)):>>> if y[i] == 0:>>> red_x.append(reduced_X[i][0])>>> red_y.append(reduced_X[i][1])>>> elif y[i] == 1:>>> blue_x.append(reduced_X[i][0])>>> blue_y.append(reduced_X[i][1])>>> else:>>> green_x.append(reduced_X[i][0])>>> green_y.append(reduced_X[i][1])
4.2.4 降维后数据点的可视化
>>> plt.scatter(red_x, red_y, c='r', marker='x')#第一类数据点>>> plt.scatter(blue_x, blue_y, c='b', marker='D')#第二类数据点>>> plt.scatter(green_x, green_y, c='g', marker='.')#第三类数据点>>> plt.show()#可视化
4.3 结果展示
可以看出,降维后的数据仍能够清晰地分成三类。这样不仅能削减数据的维度,降低分类任务的工作量,还能保证分类的质量。
阅读全文
0 0
- Python机器学习应用 | 降维——PCA方法及其应用
- PCA 方法及其应用
- PCA方法及其应用
- 5. PCA方法及其应用
- PCA算法及其应用
- Python机器学习应用 | 聚类——K-means方法及应用
- Python机器学习应用 | 聚类——DBSCAN方法及应用
- Python机器学习应用 | 降维——NMF方法及实例
- 机器视觉学习总结(二)—— LDA,PCA算法与应用
- Python机器学习应用二
- Python机器学习应用--KNN
- Python机器学习应用-北京理工大学
- python 机器学习——从感知机算法到各种最优化方法的应用(python)
- 机器学习及其在信息检索中的应用——记李航研究员讲座
- 统计机器学习笔记——EM算法及其应用(1)
- 机器学习中的数学(4)——特征值与奇异值分解及其应用
- 机器学习——回归中的相关度与R平方值及其应用
- 机器学习中的数学——强大的矩阵奇异值分解(SVD)及其应用
- [编程题] 循环单词
- 洛谷 P1196 银河英雄传说
- 给Mac安装最新版本的JDK
- PMODAD1 实现模拟数据的采集 硬件篇
- php ci ajax
- Python机器学习应用 | 降维——PCA方法及其应用
- 比赛记录contest13
- kafka:一个分布式消息系统
- JSON简介
- NGUI学习笔记(一):UIGrid的自定义 Sort
- 在部署服务器上面调试程序
- C#要点
- count(*) over(partition by…的用法记录
- js面向对象---基本的概念、属性、方法