程序博客网 > python入门到精通下载

机器学习算法——SVD奇异值分解

来源：互联网发布：python入门到精通下载编辑：程序博客网时间：2024/06/06 16:54

一、SVD奇异值分解的定义

假设 $M$ 是一个 $m\times n$ 的矩阵，如果存在一个分解：

$M=U\sum V^{T}$

其中 $U$ 为 $m\times m$ 的酉矩阵， $\sum$ 为 $m\times n$ 的半正定对角矩阵， $V^{T}$ 为 $V^$ 的共轭转置矩阵，且为 $n\times n$ 的酉矩阵。这样的分解称为 $M$ 的奇异值分解， $\sum$ 对角线上的元素称为奇异值， $U$ 称为左奇异矩阵， $V^{T}$ 称为右奇异矩阵。

二、SVD奇异值分解与特征值分解的关系

特征值分解与SVD奇异值分解的目的都是提取一个矩阵最重要的特征。然而，特征值分解只适用于方阵，而SVD奇异值分解适用于任意的矩阵，不一定是方阵。

$M^{T}M=\left ( U\sum V^{T} \right )^{T}U\sum V^{T} \right=V\left ( \sum \, ^T\sum \right )V^{T}$

$MM^T=U\sum V^{T}\left ( U\sum V^{T} \right )^{T} \right=U\left ( \sum \sum \, ^T \right )U^{T}$

这里， $M^TM$ 和 $MM^T$ 是方阵， $U^TU$ 和 $V^TV$ 为单位矩阵， $V^{T}$ 为 $M^TM$ 的特征向量， $U$ 为 $MM^T$ 的特征向量。 $M^TM$ 和 $MM^T$ 的特征值为 $M$ 的奇异值的平方。

三、SVD奇异值分解的作用和意义

奇异值分解最大的作用就是数据的降维，当然，还有其他很多的作用，这里主要讨论数据的降维，对于 $m\times n$ 的矩阵 $M$ ，进行奇异值分解

$M_{m\times n}=U_{m\times m}\sum \, _{m\times n}V^T_{n\times n}$

取其前 $r$ 个非零奇异值，可以还原原来的矩阵 $M$ ，即前 $r$ 个非零奇异值对应的奇异向量代表了矩阵 $M$ 的主要特征。可以表示为

$M_{m\times n}\approx U_{m\times r}\sum \, _{r\times r}V^T_{r\times n}$

0 0

python入门到精通下载

python入门到精通下载

原创粉丝点击

热门问题 老师的惩罚人脸识别我在镇武司摸鱼那些年重生之率土为王我在大康的咸鱼生活盘龙之生命进化天生仙种凡人之先天五行春回大明朝姑娘不必设防，我是瞎子男生名字比较有内涵的娶名字霸气的名字男孩好听的队名大全男孩的小名好听的女孩小名适合女孩的名字煜字取名人名字女孩的小名给男孩子取名字男宝宝好听的名字女名字诗意的名字好听的名字排行榜性名大全男宝名字好听的宝宝名字起个名字男孩适合男孩子的名字取小名大全男孩女神名字大全好听的店名大全男孩儿名字女娃名字小孩取名字女孩小孩名字库雅字取名取名大全女孩姓名好听的女孩名字大全女孩起什么名字好起名女孩名字女孩有什么好听的名字男孩好名字大全男生好听的男孩女孩名字大全女生的名字带木字旁的男孩名字叶姓取名取男孩名字 mizi