矩阵分析与应用（一）——集合的基本运算和内积空间

矩阵相关

  幂等矩阵：对于方阵A，如果A2=A，则称为幂等矩阵
  对合矩阵：对于方阵A，如果A2=I，则称为对合矩阵
  非奇异矩阵：一个方阵A是非奇异的，当且仅当Ax=0只有零解，即A的n个列向量线性无关。
  行等价矩阵：经过行初等变换的矩阵与原矩阵是行等价矩阵。
  简约阶梯型矩阵：如果一个阶梯矩阵每个非零行的首项元素为1（首一元素），则称为简介阶梯型

集合的基本运算

A∪B={x∈X:x∈A or x∈B}

A∩B={x∈X:x∈A and x∈B}

A+B={z=x+y∈Z:x∈A , x∈B}

X=A−B={x∈X:x∈A and x∉B}

集合A在X中的补集：Ac=X−A={x∈X:x∉A}
笛卡尔积：若X和Y为集合，且x∈X，y∈Y，则所有的有序数对(x,y)的集合记为X×Y，称为集合的笛卡尔积:

X×Y={(x,y):x∈X,y∈Y}

向量空间

  以向量为元素的集合V称为向量空间，它满足加法和标量乘法的闭合性，即：

∀x∈V,y∈V→x+y∈V

∀a∈R,y∈V→ay∈V

实内积空间

  实内积空间是满足下列条件的实向量空间E：

正定性：∀x∈E,and x≠0,⟨x,x⟩>0

对称性：∀x,y∈E,⟨x,y⟩=⟨y,x⟩

⟨x,y+z⟩=⟨x,y⟩+⟨x,z⟩,∀x,y,z∈E

⟨αx,y⟩=α⟨x,y⟩∀x,y∈E，α∈R

  如果在一个n阶实内积空间Rn定义典范内积(cannonical inner product)为：

⟨x,y⟩=∑i=1nxiyi

  则称Rn为n阶Euclidean空间。

范数

  若Rn为一个实内积空间，且x∈En，则x的范数（或“长度”）记为∥x∥，定义为：

∥x∥=⟨x,x⟩1/2

  长度为1的向量称为单位向量。
  向量x,y之间的距离定义为：

d=∥x−y∥=⟨x−y,x−y⟩1/2

  特别地，对于Euclidean n空间，向量范数取：

∥x∥2=a21+a22+...+a2n−−−−−−−−−−−−−√

  在实内积空间中，范数具有以下性质：
    1.只有0向量的范数为0，否则大于0。
    2.∀x∈Rn,c∈R，∥cx∥=|c|∥x∥
    3.服从极化恒等式（polarization identity）：

⟨x,y⟩=14(∥x+y∥2−∥x−y∥2)

    4.满足平行四边形法则（parallelogram law）:

∥x+y∥2+∥x−y∥2=2∥x∥2+2∥y∥2

    5.服从Cauchy-Schwartz不等式：

|⟨x,y⟩|≤∥x∥∥y∥，当且仅当y=cx时，等号成立，c∈R≠0

    5.满足三角不等式：

∥x+y∥≤∥x∥∥y∥

复内积空间

  即同样满足上述定理的复向量空间Cn构成复内积空间，有些在表达形式上有所不同：

正定性：∀x∈E,and x≠0,⟨x,x⟩>0

共轭对称性（Heimitian性）：∀x,y∈E,⟨x,y⟩∗=⟨y,x⟩

⟨x,y+z⟩=⟨x,y⟩+⟨x,z⟩,∀x,y,z∈E

⟨αx,y⟩=α∗⟨x,y⟩∀x,y∈E，α∈C

范数

  在复内积空间中，范数具有以下性质：
    1.只有0向量的范数为0，否则大于0。
    2.∀x∈Rn,c∈C，∥cx∥=|c|∥x∥，|c|表示复数c的模
    3.服从极化恒等式（polarization identity）：

⟨x,y⟩=14(∥x+y∥2−∥x−y∥2−j∥x+jy∥2+j∥x−jy∥2)

    4.满足平行四边形法则（parallelogram law）:

∥x+y∥2+∥x−y∥2=2∥x∥2+2∥y∥2

    5.服从Cauchy-Schwartz不等式：

|⟨x,y⟩|≤∥x∥∥y∥，当且仅当y=cx时，等号成立，c∈C

    5.满足三角不等式：

∥x+y∥≤∥x∥∥y∥