矩阵基本知识

 

特征值

在A变换的作用下，向量ξ仅仅在尺度上变为原来的λ倍。称ξ是A 的一个特征向量，λ是对应的特征值（本征值）,是（实验中）能测得出来的量，与之对应在量子力学理论中，很多量并不能得以测量，当然，其他理论领域也有这一现象。

eigen value 　　又称本征值。 　　

设A是向量空间的一个线性变换，如果空间中某一非零向量通过A变换后所得到的向量和X 仅差一个常数因子，即AX=kX ，则称k为A的特征值，X称为A的属于特征值k的特征向量或特征矢量(eigenvector)。　　

设M是n阶方阵， I是单位矩阵，如果存在一个数λ使得 M-λI 是奇异矩阵（即不可逆矩阵， 亦即行列式为零）， 那么λ称为M的特征值。 　　

特征值的计算方法n阶方阵A的特征值λ就是使齐次线性方程组（A-λI）x=0有非零解的值λ，也就是满足方程组|A-λI|=0的λ都是矩阵A的特征值

范数的定义

设X是数域K上线性空间，称║˙║为X上的范数(norm)，若它满足：　　

1. 正定性：║x║≥0，且║x║=0 <=> x=0； 　　

2. 齐次性：║cx║=│c│║x║；　　

3. 次可加性(三角不等式)：║x+y║≤║x║+║y║ 。 　　

注意到║x+y║≤║x║+║y║中如令y=-x，再利用║-x║=║x║可以得到║x║≥0，即║x║≥0在定义中不是必要的。　　

如果线性空间上定义了范数，则称之为赋范线性空间。　　

注记：范数与内积，度量，拓扑是相互联系的。　　

1. 利用范数可以诱导出度量：d(x,y)=║x-y║，进而诱导出拓扑，因此赋范线性空间是度量空间。　　但是反过来度量不一定可以由范数来诱导。 　　

2. 如果赋范线性空间作为(由其范数自然诱导度量d(x,y)=║x-y║的)度量空间是完备的，即任何柯西(Cauchy)序列在其中都收敛，则称这个赋范线性空间为巴拿赫(Banach)空间。　　

3. 利用内积<˙,˙>可以诱导出范数：║x║=<x,x>^{1/2}。　　

反过来，范数不一定可以由内积来诱导。当范数满足平行四边形公式║x+y║^2+║x-y║^2=2(║x║^2+║y║^2)时，这个范数一定可以由内积来诱导。　　

完备的内积空间成为希尔伯特(Hilbert)空间。　　

4.如果去掉范数定义中的正定性，那么得到的泛函称为半范数(seminorm或者叫准范数)，相应的完备空间称为Fréchet空间。　　

对于X上的两种范数║x║α,║x║β，若存在正常数C满足　　

║x║β≤C║x║α 　　

那么称║x║β弱于║x║α。如果║x║β弱于║x║α且║x║α弱于║x║β，那么称这两种范数等价。　　可以证明，有限维空间上的范数都等价，无限维空间上至少有阿列夫1(实数集的基数)种不等价的范数。

常用范数

这里以C^n空间为例，R^n空间类似。　　

最常用的范数就是p-范数。若x=[x1,x2,...,xn]^T，

那么 　　║x║p=(|x1|^p+|x2|^p+...+|xn|^p)^{1/p} 　　

可以验证p范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski)不等式。　　

当p取1，2，∞的时候分别是以下几种最简单的情形：　　

1-范数：║x║1=│x1│+│x2│+…+│xn│ 　　

2-范数：║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2 　　

∞-范数：║x║∞=max(│x1│,│x2│,…,│xn│) 　　

其中2-范数就是通常意义下的距离。　　

对于这些范数有以下不等式：║x║∞ ≤ ║x║2 ≤ ║x║1 ≤ n^{1/2}║x║2 ≤ n║x║∞ 　　

另外，若p和q是赫德尔(H&ouml;lder)共轭指标，即1/p+1/q=1，那么有赫德尔不等式：　　|<x,y>| = ||x^H*y| <= ║x║p║y║q 　　

当p=q=2时就是柯西-许瓦兹(Cauchy-Schwarz)不等式。

矩阵范数

　　矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：║XY║≤║X║║Y║。 　　注：如果不考虑相容性，那么矩阵范数和向量范数就没有区别，因为mxn矩阵全体和mn维向量空间同构。引入相容性主要是为了保持矩阵作为线性算子的特征，这一点和算子范数的相容性一致，并且可以得到Mincowski定理以外的信息。

诱导范数

把矩阵看作线性算子，那么可以由向量范数诱导出矩阵范数 ║A║ = max{║Ax║:║x║=1}= max{║Ax║/║x║: x≠0} ， 它自动满足对向量范数的相容性 ║Ax║ ≤ ║A║║x║， 并且可以由此证明　　║AB║ ≤ ║A║║B║。 　　

注： 　　

1.上述定义中可以用max代替sup是因为有限维空间的单位闭球是紧的(有限开覆盖定理)，从而上面的连续函数可以取到最值。　　

2.显然，单位矩阵的算子范数为1。　　

常用的三种p-范数诱导出的矩阵范数是　　

1-范数：║A║1 = max{ ∑|ai1|, ∑|ai2| ,…… ,∑|ain| } （列和范数，A每一列元素绝对值之和的最大值） 　　(其中∑|ai1|第一列元素绝对值的和∑|ai1|=|a11|+|a21|+...+|an1|,其余类似）；　　

2-范数：║A║2 = A的最大奇异值 = ( max{ λi(A^H*A) } ) ^{1/2} ( 谱范数,即A'A特征值λi中最大者λ1的平方根，其中A^H为A的转置共轭矩阵）；　　

∞-范数：║A║∞ = max{ ∑|a1j|, ∑|a2j| ,..., ∑|amj| } （行和范数，A每一行元素绝对值之和的最大值） 　　(其中为∑|a1j| 第一行元素绝对值的和，其余类似）；　　

其它的p-范数则没有很简单的表达式。　　

对于p-范数而言，可以证明║A║p=║A^H║q，其中p和q是共轭指标。　　

简单的情形可以直接验证：║A║1=║A^H║∞，║A║2=║A^H║2，一般情形则需要利用║A║p=max{y^H*A*x：║x║p=║y║q=1}。

矩阵的迹

 

　　矩阵的迹 （trace）

性质

设有N阶矩阵A，那么矩阵的迹就等于A的特征值的总和，也即A矩阵的主对角线元素的总和。　　

Singular value decompostion 　　

奇异值分解非常有用，对于矩阵A(p*q)，存在U(p*p)，V(q*q)，B(p*q)（由对角阵与增广行或列组成），满足A = U*B*V 　　

U和V中分别是A的奇异向量，而B中是A的奇异值。AA'的特征向量组成U，特征值组成B'B，A'A的特征向量组成V，特征值（与AA'相同）组成BB'。因此，奇异值分解和特征值问题紧密联系。　　

如果A是复矩阵，B中的奇异值仍然是实数。　　

SVD提供了一些关于A的信息，例如非零奇异值的数目（B的阶数）和A的阶数相同，一旦阶数确定，那么U的前k列构成了A的列向量空间的正交基。　　

在数值分析中，由于数值计算误差，测量误差，噪声以及病态矩阵，零奇异值通常显示为很小的数目。　　将一个矩阵分解为比较简单或者性质比较熟悉的矩阵之组合，方便讨论和计算。由于矩阵的特征值和特征向量在化矩阵为对角形的问题中占有特殊位置，因此矩阵的特征值分解。尽管矩阵的特征值具有非常好的性质，但是并不是总能正确地表示矩阵的“大小”。矩阵的奇异值和按奇异值分解是矩阵理论和应用中十分重要的内容，已成为多变量反馈控制系统最重要最基本的分析工具之一，奇异值实际上是复数标量绝对值概念的推广，表示了反馈控制系统的输出/输入增益，能反映控制系统的特性。《鲁棒控制.倾斜转弯导弹》　　

1.迹是所有对角元的和　　

2.迹是所有特征值的和　　

3.某些时候也利用tr(AB)=tr(BA)来求迹

 

 

置换矩阵

定义

　　设P 是一个 m×n 的 (0,1) 矩阵，如 m≤n且 PP′=E，则称 P为一个 m×n的置换矩阵。其中P′是P的转置矩阵，E是m阶单位方阵。

判定定理

　　定理 1 当 m≦n时，一个 m×n 的(0,1) 矩阵P为置换矩阵的充要条件是P的每一行恰有一个 1，每一列至多一个 1。

 

严格对角占优矩阵

     如果A的每个对角元的绝对值都比所在行的非对角元的绝对值的和要大，即

|a_ii|>sum{j!=i}|a_ij|   对所有的i成立，那么称A是（行）严格对角占优阵。

     如果A'是行严格对角占优阵，那么称A是列严格对角占优阵。

     习惯上如果不指明哪种类型的话就认为是行对角占优。

伴随矩阵

　　定义

　　A的伴随矩阵可按如下步骤定义：

用A的第i 行第j 列的余子式把第j 行第i 列的元素替换掉得到就是A的伴随矩阵。 即A*(j,i) = (-1)^(i+j)M_ij

　　例如：

　　A是一个2x2矩阵，则A的伴随矩阵为[M₁₁,-M₂₁;-M₁₂,M₂₂];

　　（余子式定义：A关于第i 行第j 列的余子式（记作M_ij）是去掉A的第i行第j列之后得到的(n − 1)×(n − 1)矩阵的行列式。特殊规定：一阶矩阵的伴随矩阵为一阶单位方阵） 

酉矩阵

　　n阶复方阵U的n个列向量是U空间的一个标准正交基，则U是酉矩阵(Unitary Matrix)。

　　一个简单的充分必要判别准则是：

　　方阵U的共扼转置乘以U等于单位阵，则U是酉矩阵。即酉矩阵的逆矩阵与其伴随矩阵相等。

　　酉方阵在量子力学中有着重要的应用。酉等价是标准正交基到标准正交基的特殊基变换。

 

正交矩阵

n阶实矩阵 A称为正交矩阵，如果：A×A′=E（E为单位矩阵，A'表示“矩阵A的转置矩阵”。） 若A为正交阵，则下列诸条件是等价的:

　　1) A 是正交矩阵

　　2) A×A′=E（E为单位矩阵）

　　3) A′是正交矩阵

　　4) A的各行是单位向量且两两正交

　　5) A的各列是单位向量且两两正交

6) (Ax,Ay)=(x,y) x,y∈R

正交方阵是欧氏空间中标准正交基到标准正交基的过渡矩阵。

在矩阵论中，实数正交矩阵是方块矩阵 Q，它的转置矩阵是它的逆矩阵。如果正交矩阵的行列式为 +1，则我们称之为特殊正交矩阵.

正交变换

      设M是对称矩阵， P是正交矩阵， N=P^t*M*P 称为 M的正交变换。

　　正交变换既是相似变换，也是相合变换。正交变换不改变M的特征值。