矩阵的范数与函数

矩阵与线性方程组

记号：

• A的转置：AT/A′(在不至于混淆的情况下采用第二种记法)
• A的复数共轭: A∗
• A的复共轭转置: AH,又叫Hermitian 转置。在A的元素是实数时，AH=AT
• 取子阵: A(i1:i2,j1:j2)

性质

• (AB)′=B′A′
• (AB)−1=B−1A−1
• (A′)−1=(A−1)′

定义

• 矩阵A称为幂等矩阵，若A2=A
• 矩阵A称为对合矩阵，若A2=I
• 矩阵的内积<A,B>=AHB

集合的运算

• 并集X=A∪B={x∈X:x∈A∨x∈B}
• 交集X=A∩B={x∈X:x∈A∧x∈B}
• 和集Z=A+B={z=x+y∈Z:x∈A,y∈B}
• 集合差X=A−B={x∈X:x∈A,x∉B},也作A∖B
• 子集A在集合X中的补集Ac=X−A
• 笛卡尔积A×B={(x,y):x∈X,y∈Y}

注：集合中的冒号与竖线是一样的，是另一种记法。

对于一个正整数，实数的所有有序n元组[x1,x2,⋯,xn]的集合记为Rn,它的每一个元素称为向量(n×1向量)。特别地，若n=1，则R的元素称为标量。设V为n维向量的集合，如果集合V非空，且集合V对向量加法和数乘两种运算封闭，则称集合V为向量空间。
实内积空间是满足内积公理的实向量空间。
如果对实n阶向量空间Rn定义向量之间的内积为典范内积(canonical inner product)

<x,y>=∑i=1nxiyi

则称Rn为n阶欧氏空间(Euclidean),也记作En，若两向量内积为0，称这两个向量正交。记作x⊥y

范数

内积公理：满足正定性、可加性、齐次性、对称性的数叫内积。
范数公理：满足正定性、齐次性、三角不等式的数叫范数。

向量范数:
l2范数：也称Euclidean范数，Frobenius范数。
||x||=<x,x>1/2
lp范数：(Holder范数)

||x||p=(∑|xi|p)1/p

可以证明
无穷(l∞)范数。

||x||∞=limp→∞||x||p=max(|x1|,⋯,|xn|)

proof.
对n个正数a1,a2,⋯,an,

max(an1,an2,⋯,ann)≤an1+an2+⋯+ann≤nmax(an1,an2,⋯,ann)

max(a1,a2,⋯,an)≤(an1+an2+⋯+ann)1n≤n‾‾√nmax(a1,a2,⋯,an)

注意到limn→∞n‾‾√n=1,由夹逼准则

limn→∞(an1+an2+⋯+ann)1n=max(a1,a2,an)

范数||x||称为酉不变的，若||Ux||=||x||对所有向量x∈Cm和所有酉矩阵（实数为正交矩阵）U∈Cm×m恒成立。
Euclidean范数||⋅||2是酉不变的。

向量之间的距离：d=||x−y||
特别地，对于n维欧氏空间，向量范数取

||x||2=a21+⋯+a2n‾‾‾‾‾‾‾‾‾‾‾‾√

常数向量w和v的外积记作wvH,定义为矩阵的乘法。

Pythagorean定理：若x⊥y,||x+y||2=||x||2+||y||2
Cauchy-Schwartz不等式：|<x,y>|≤||x||||y||
平行四边形法则：||x+y||2+||x−y||2=2||x||2+x||y||2
定义：若n→∞,||xn−x||→0,则称xn收敛于x。
命题：若xn→x,yn→y,则<xn,yn>→<x,y>

矩阵范数具有以下性质：
正定性，齐次性，三角不等式，两个矩阵乘积的范数小于或等于两个矩阵范数的乘积||AB||≤||A||||B||
典型的矩阵范数：
* F范数（Frobenius,fro):||A||F=(∑∑|a2ij)1/2

||A||F=||vec(A)||2

* lp范数

||A||p=maxx≠0||Ax||p||x||p

“最大线性放大率”
* 行和范数：||A||row,矩阵元素取绝对值后，行和的最大值；列和范数同理。
* 谱范数(spectrum norm)

||A||spec=σmax

其中σmax是矩阵A的最大奇异值。也称算子范数。

注意，向量x的p范数相当于该向量的长度。矩阵A作用于长度为||x||的向量x时，得到的线性变换的结果为向量Ax，其长度为||Ax||，线性变换的矩阵可视为一个线性放大器算子。比率||Ax||/||x||提供了线性变换Ax相对于x的放大倍数，而矩阵A的p范数是由A产生的最大放大倍数。

矩阵内积：<A,B>=AHB

矩阵范数满足平行四边形法则，Cauchy-Schwartz不等式，Pathagoras定理。

综上所述：在实内积空间里，范数有以下性质：
* ||0||=0;||x||>0,∀x≠0
* ||cx||=|c|⋅||x||
* 极化恒等式：

<x,y>=14(||x+y||2−||x−y||2)

* 平行四边形法则：

||x+y||2+||x−y||2=2||x||2+2||y||2

* Cauchy-Schwartz不等式

|<x,y>|≤||x||||y||

等号成立当且仅当y=cx
* 三角不等式：

||x+y||≤||x||+||y||

映射T的值域：Im(T)
将矩阵与向量的乘法Am×nxn×1视为将Rn的向量x变为Rm的某个向量的线性映射T:x↦Ax.

向量的内积是一种线性映射，T:V×V↦C=<x,y>,由内积公理易知其满足线性变换的两个条件。

向量空间（线性空间）

同构：两个实内积空间同构，若存在一个一一线性映射T:E↦F能保持向量的内积不变，即<Tx,Ty>=<x,y>对所有向量x,y∈E成立。这个映射T称为向量空间的同构映射。

一般把Rn叫做（向量）空间，把里面的对加法和数乘封闭的子集称为子空间。（不严谨叙述）

向量x1,⋯,xn的所有线性组合的集合称为由x1,⋯,xn张成的子空间（/闭包closure），记作

L=span{x1,⋯,xn}

生成子空间W的线性无关的向量{u1,⋯,un}称为子空间W的基，基的个数称为子空间W的维度，即

d=dim(span{u1,⋯,un}

Gram-Schmidt正交化
定义投影向量Py(x)=y(y′y)−1y′x，可以将x向量投影到y上来
a1,a2,⋯,an是向量空间W的一组基，将这组基标准正交化
1. b1=a1
b2=a2−Pb1(a2)
bk=ak−Pb1(ak)−Pb2(ak)−⋯−Pbk−1(ak)
产生正交基
2. 将这组正交基标准化即得。
标准正交化
matlab:B=orth(A)

矩阵的标量函数

前面介绍的矩阵范数是矩阵的标量函数，下面介绍另外几个：矩阵的二次型，迹，行列式，秩

二次型

y(x)=x′Ax

一般将A变为对称阵。
一个对称阵A称为
正定矩阵，若x′Ax>0,∀x≠0
半正定矩阵，若x′Ax≥0,∀x≠0(也称非负定)

正矩阵：A的所有元素为正，简记为A>0
非负矩阵：A的所有元素非负,简记为A≥0,
注意也有文件中用上面两个简记号表示正定矩阵和半正定矩阵。

迹

tr(A)=∑aii

性质

• tr(A±B)=tr(A)±tr(B)
• tr(cA)=ctr(A) (前两个称为线性性)
• tr(A′)=tr(A)
• 迹是相似不变量，若Am×n,Bn×m,则tr(AB)=tr(BA)
• 若矩阵A、B均为m阶方阵，且B非奇异，则：tr(BAB−1)=tr(B−1AB)=tr(A)
• 若A是一个m×n矩阵，则tr(A′A)=0⟺A=O
• x′Ax=tr(Axx′),y′x=tr(xy′)
• tr(A′A)=tr(AA′)
• tr(A)=∑λi,迹等于特征值之和
• tr(Ak)=∑λki，k次幂的迹等于A的特征值的k次矩之和。

迹的不等式

• tr(A′A)=tr(AA′)≥0
• A,B均为m×n矩阵
  tr(A′B)2≤tr(A′A)tr(B′B)
  tr(A′B)2≤tr(A′AB′B)
  tr(A′B)2≤tr(AA′BB′)
• Schur不等式：tr(A2)≤tr(A′A)
• tr[(A+B)(A+B)′]≤2[tr(AA′)+tr(BB′)]
• A、B均为m阶对称阵，tr(AB)≤12tr(A2+B2)
• m×n实矩阵的F范数可以定义为：||A||F=tr(A′A)‾‾‾‾‾‾√=tr(AA′)‾‾‾‾‾‾√

行列式

det(A),|A|

相等关系

• det(A)=det(A′)
• det(AB)=det(A)det(B)
• det(cA)=cndet(A)
• det(A−1)=det−1(A)

不等关系

• Cauchy-Schwartz不等式|det(A′B)|2≤det(A′A)det(B′B)
• 正定矩阵A的行列式大于0，det(A)>0
• 半正定矩阵的行列式大于等于0，det(A)≥0

秩

rank,rk

根据系数矩阵秩的大小，矩阵方程Am×nxn×1=bm×1,可分为以下三种类型。（n个未知数m个方程）
* 适定(well-determined)方程,若m=n=rank(A),即A为满秩方阵。方程个数等于未知数个数，还等于独立方程个数。即该方程组有唯一解。（不完备）
* 欠定(underdetermined)方程,若m<n,即方程个数小于未知数个数。欠定方程可能是相容的，也可能是不相容的，如果相容则有无穷多组解。
* 超定(overdetermined)方程，若m>n,即方程个数大于未知数个数。超定方程多数情况下无解，在特殊情况下有解。

是否有解不能看未知数个数和方程个数，要比较系数阵和增广矩阵的秩。

每个未知数可以被视为一个自由度，每个方程可以被视为一个限制了一个自由度的约束。行满秩，则每个方程都是独立方程，列满秩，则每个未知数都被涉及到（不存在自由未知数）,如参数平差中限定列满秩（保证参数能求出），还要求超定（有多于观测）。

矩阵的秩等于其列空间的维数，等于其行空间的维数。

参考资料

1. 矩阵分析与应用，张贤达
2. Invertible matrix,wiki
3. underdetermined system,overdetermined system,wiki
4. generlized inverse,wiki