方阵的特征值和特征向量

本摘抄自：http://blog.csdn.net/woxincd/article/details/6917588

http://blog.csdn.net/zhubenfulovepoem/article/details/7191757

一、定义   设 是阶方阵，若有数和非零向量，使得

称数 是的特征值，非零向量是对应于特征值的特征向量。

例如   对 ，有及向量，使得，这说明是的特征值，是对应于的特征向量。

特征值和特征向量的求法：

1．  由得，并且由于是非零向量，故行列式，即

（称之为的特征方程）

由此可解出 个根（在复数范围内），这就是的所有特征值。

2．  根据某个特征值，由线性方程组解出非零解，这就是对应于特征值的特征向量。

例   求 的特征值和特征向量。

解   由 ，解得；

对 ，解得对应的特征向量；

对 ，求解，得，取对应的特征向量。

特征值和特征向量的性质：

1 ． ，

2 ．若 是的特征向量，则对，也是的特征向量。

3 ．若 是的特征值，则是的特征值，从而是的特征值。

4 ． 是的个特征值，为依次对应的特征向量，若各不相同，则线性无关。

二、特征向量和特征值的几何意义

特征向量确实有很明确的几何意义，矩阵(既然讨论特征向量的问题，当然是方阵，这里不讨论广义特征向量的概念，就是一般的特征向量)乘以一个向量的结果仍是同维数的一个向量，因此，矩阵乘法对应了一个变换，把一个向量变成同维数的另一个向量。

那么变换的效果是什么呢？这当然与方阵的构造有密切关系，比如可以取适当的二维方阵，使得这个变换的效果就是将平面上的二维向量逆时针旋转30度，这时我们可以问一个问题，有没有向量在这个变换下不改变方向呢？可以想一下，除了零向量，没有其他向量可以在平面上旋转30度而不改变方向的，所以这个变换对应的矩阵(或者说这个变换自身)没有特征向量(注意：特征向量不能是零向量)，所以一个变换的特征向量是这样一种向量，它经过这种特定的变换后保持方向不变，只是进行长度上的伸缩而已(再想想特征向量的原始定义Ax=cx,你就恍然大悟了,看到了吗？cx是方阵A对向量x进行变换后的结果，但显然cx和x的方向相同)，而且x是特征向量的话，ax也是特征向量(a是标量且不为零)，所以所谓的特征向量不是一个向量而是一个向量族，另外，特征值只不过反映了特征向量在变换时的伸缩倍数而已，对一个变换而言，特征向量指明的方向才是很重要的，特征值不是那么重要，虽然我们求这两个量时先求出特征值，但特征向量才是更本质的东西！

比如平面上的一个变换，把一个向量关于横轴做镜像对称变换，即保持一个向量的横坐标不变，但纵坐标取相反数，把这个变换表示为矩阵就是[1 0;0 -1]，其中分号表示换行，显然[1 0;0 -1]*[a b]'=[a -b]',其中上标'表示取转置，这正是我们想要的效果，那么现在可以猜一下了，这个矩阵的特征向量是什么?想想什么向量在这个变换下保持方向不变，显然，横轴上的向量在这个变换下保持方向不变(记住这个变换是镜像对称变换，那镜子表面上(横轴上)的向量当然不会变化)，所以可以直接猜测其特征向量是 [a 0]'(a不为0)，还有其他的吗？有，那就是纵轴上的向量，这时经过变换后，其方向反向，但仍在同一条轴上，所以也被认为是方向没有变化，所以[0 b]'(b不为0)也是其特征向量，去求求矩阵[10;0 -1]的特征向量就知道对不对了!

三、特征向量和特征值的数学意义

求特征向量的关系，就是把矩阵A所代表的空间，进行正交分解，使得A的向量集合可以表示为每个向量a在各个特征向量上面的投影长度。这N个特征值就是各个投影方向上的长度。

例如A是m*n的矩阵,n>m，那么特征向量就是m个(因为秩最大是m)，n个元素的行向量在每个特征向量E上面有投影，其特征值v就是权重。

那么每个行向量现在就可以写为Vn=(E1*v1n,E2*v2n...Em*vmn)，矩阵变成了方阵。

再: 由于这些投影的大小代表了A在特征空间各个分量的投影，那么我们可以使用最小2乘法，求出投影能量最大的那些分量，而把剩下的分量去掉，这样最大限度地保存了矩阵代表的信息，同时可以大大降低矩阵需要存储的维度，简称PCA方法。
        举个例子，对于x,y平面上的一个点(x,y)，我对它作线性变换，(x,y)*[1,0;0,-1]，分号代表矩阵的换行，得到的结果就是(x,-y)，这个线性变换相当于关于横轴x做镜像。

我们可以求出矩阵[1,0;0,-1]的特征向量有两个，[1,0]和[0,1]，也就是x轴和y轴。什么意思呢? 在x轴上的投影，经过这个线性变换，没有改变。在y轴上的投影，乘以了幅度系数-1，并没有发生旋转。两个特征向量说明了这个线性变换矩阵对于x轴和y轴这两个正交基是线性不变的。对于其他的线性变换矩阵，我们也可以找到类似的，N个对称轴，变换后的结果，关于这N个对称轴线性不变。这N个对称轴就是线性变换A的N个特征向量。这就是特征向量的物理含义所在。所以，矩阵A等价于线性变换A。
        对于实际应用的矩阵算法中，经常需要求矩阵的逆：当矩阵不是方阵的时候，无解，这是需要用到奇异值分解的办法，也就是A=PSQ，P和Q是互逆的矩阵，而S是一个方阵，然后就可以求出伪逆的值。同时，A=PSQ可以用来降低A的存储维度，只要P是一个是瘦长形矩阵，Q是宽扁型矩阵。对于A非常大的情况可以降低存储量好几个数量级。

四、总结

特征值就是那个矩阵所对应的一元多次方程组的根（若为n次，则特征值有n个）

特征值表示一个矩阵的向量被拉伸或压缩的程度,例如特征值为1,则表示经过变换以后,向量没有被拉伸,在物理上表示做刚体运动,相当与整体框架做了变动,但内部结构没有变化.

一个向量（或函数）被矩阵相乘，表示对这个向量做了一个线性变换。如果变换后还是这个向量本身乘以一个常数，这个常数就叫特征值。这是特征值的数学涵义；

矩阵的特征值要想说清楚还要从线性变换入手，把一个矩阵当作一个线性变换在某一组基下的矩阵，最简单的线性变换就是数乘变换，求特征值的目的就是看看一个线性变换对一些非零向量的作用是否能够相当于一个数乘变换，特征值就是这个数乘变换的变换比，这样的一些非零向量就是特征向量，其实我们更关心的是特征向量，希望能把原先的线性空间分解成一些和特征向量相关的子空间的直和，这样我们的研究就可以分别限定在这些子空间上来进行，这和物理中在研究运动的时候将运动分解成水平方向和垂直方向的做法是一个道理！

特征值是确定实实在在的值。每个特征值对应的特征向量是个集合。