ATA对称正定的证明

1. 结论

Let A∈Rn×mwithn>m, then matrix ATA is positive semidefinite, If rank(A)=m(i.e.Ahasfullrank), then ATA is positive definite.

2. 证明

1. 半正定的证明
   根据对称正定的定义，要证明ATA半正定，即证明，xT(ATA)x≥0
   
   xT(ATA)x=(xTAT)(Ax)=(Ax)T(Ax)
   
   记，Ax=u，则，xT(ATA)x=uTu，由向量点乘的性质，易知uTu>=0.
   即，ATA 半正定。

2. 正定的证明
   uTu≥0 等号当且仅当u=0时取到。、
   我们看看u=0时，x等于多少。u=Ax=0，当A满秩时，根据满秩的定义和性质，易知当且仅当x=0时，Ax=0。
   即证明ATA正定。

3. 为什A满秩时，Ax=0当且仅当x=0
   根据满秩的定义和性质，当A满秩是，A的各列向量线性独立，则，A的列向量的线性组合等于0，当且仅当每个系数等于0。Ax就可以看出A的列向量的线性组合，因此，当且仅当x=0时Ax=0.

3. 总结

• ATA is coefficient matrix of Normal Equation