特征值和特征向量

一 . 定义

设 A 是 n 阶方阵，如果数λ 和 n 维非零向量 X 使关系式AX = λX 成立 。那么，

1. 特征值：这样的数 λ 称为矩阵 A 的特征值 。

2. 特征向量：非零向量 X 称为 A 的对应于特征值 λ 的特征向量 。

3. 特征空间：直观上开，非零向量 X 在 A 的作用下，保持方向不变进行了比例为 λ 的伸缩 ，那么显然，非零向量 X 同方向上的向量都是方阵 A 的特征向量，这些特征向量称为 λ 对应的特征空间 。

二 . 若干性质

1 . 方阵 A 有若干特征向量 X1，X2，X3 ... 。并且 λ1 > λ2 > λ3 > ... 。现在有一个非特征向量 X ,   使用若干个 A 反复乘以 X ，即 Y = AAAAA...X , 

那么，Y 会越来越贴合到最大的特征值（λ1）对应的特征空间上 。

这里矩阵 A 可以看做是某种运动，Y = AAAAA...X 可以看做把矩阵运动不断附加到向量 X 上，矩阵 A 这个矩阵运动本身最明显的特征，就通过其最大特征值 λ1 表现出来了 。

举一个纯粹为了理解的例子，有一瓶黄色墨水 X，现在向其混合一瓶蓝色墨水 A , 那么由“红橙黄绿蓝靛紫”的常识可知，得到一瓶绿色墨水，然后不断地向其混合蓝色墨水 A，那么最后得到的墨水颜色理应无限逼近于蓝色了 。

2 . 线性空间的角度来看，在一个定义了内积的线性空间里，对一个 N 阶对称方阵进行特征分解，就是产生了该空间的 N 个标准正交基，然后把矩阵投影到这 N 个基上。N 个特征向量就是 N 个标准正交基，而特征值的模则代表矩阵在每个基上的投影长度。

特征值越大，说明矩阵在对应的特征向量上的方差越大，功率越大，信息量越多。

三 . 若干应用

1. 图片压缩：比如有一副 512 * 512 大小的图片，把每个像素点的颜色值填入到一个 512 * 512 的矩阵 A 中，矩阵 A 可以分解成  ， 其中 为对角阵，对角阵的对角线上是从大到小排列的特征值。

我们在对角阵中只保留前面 50 个特征值，其他的都填 0，重新计算矩阵后，生成的图像还能保留原始图像的大部分信息 。

2. 最优化：对于 R 的二次型，自变量在这个方向上变化的时候，对函数值的影响最大，也就是该方向上的方向导数最大。

3. 数据挖掘：最大特征值对应的特征向量方向上包含最多的信息量，如果某几个特征值很小，说明这几个方向信息量很小，可以用来降维，也就是删除小特征值对应方向的数据，只保留大特征值方向对应的数据，这样做之后，数据量减小，但有用信息量变化不大。

参考：

1. https://baike.baidu.com/item/%E7%9F%A9%E9%98%B5%E7%89%B9%E5%BE%81%E5%80%BC/8309765?fr=aladdin

2. https://www.zhihu.com/question/21874816