Chapter 2. Solving Linear Equations (Part 3)

2.6 elimination = factorization: A=LU

Many key ideas of linear algebra, when you look at them closely, are really factorizations of a matrix.

前面提到过解线性方程组，Ax=b
我们要对A使用消元法，使它变成一个上三角的矩阵。
先举个简单例子：
forward from A to U:
E21A=[1−301][2618]=[2015]=U
back from U to A:
E−121U=[1301][2015]=[2618]=A
(这其中的Eij表示要消去第i行，第j列的元素，使其变为0)
我们就把这里的E−121称作L，也就是代表下三角矩阵.其中啊，(2,1)位置的元素3(=6/2)就是消元时候用到的乘数lij

那么假设在消元的过程中，不出现需要行交换的情况，我们可以用下面的式子来表示消元的过程：（以三元一次方程组为例）

E32E31E21A=U

把所有的E都放到等式另一边：

A=E−121E−131E−132U

简写为：A=LU，这里L表示一个下三角的矩阵
那么我们就要产生疑问啦，虽然在上面2 by 2 的例子中，E−121的确是个下三角矩阵，但是为什么E−132E−131E−121就一定是一个下三角矩阵呢？？
真的是迷之自信啊！下面就要讲讲为啥咯！

（1）explanation and example
首先还是从 2 by 2的例子看，一个初等消元阵E21=[1−l2101]肯定是个下三角矩阵，这毫无疑问。能够使得：E21A=[1−l2101]A，变为一个上三角矩阵。
那么E−121长啥样呢？

E−121=[1l2101]

稍微思考一下就可以理解，通过左乘E21，从A的第2行减去lij倍的第1行，得到了U。想要变回去，就是在U的第2行加上lij倍的第1行，这样U又变回了A，也就是U左乘E−121。

在3 by 3的情况下，我们来一步步看：

E−121E−131E−132

E−132=⎡⎣⎢10001l32001⎤⎦⎥
E−131E−132=⎡⎣⎢10l3101l32001⎤⎦⎥
E−121E−131E−132=⎡⎣⎢1l21l3101l32001⎤⎦⎥

由此可以看出，A的确可以分解为一个下三角矩阵和一个上三角矩阵的乘积。
比如A=⎡⎣⎢210121012⎤⎦⎥=LU=⎡⎣⎢⎢11200123001⎤⎦⎥⎥⎡⎣⎢⎢20013200143⎤⎦⎥⎥
但是我们举得这个式子长得不够好看啊，我们常常觉得对称才是一种美嘛！所以对这个U再处理一下：
U=⎡⎣⎢⎢20013200143⎤⎦⎥⎥=⎡⎣⎢⎢20003200043⎤⎦⎥⎥⎡⎣⎢⎢100121200231⎤⎦⎥⎥

以后就写成：

A=LDU

D表示对角阵

（2）one square system = two triangular systems

2.7 transposes and permutations