漫步线性代数八——向量空间和子空间

消元简化了线性方程组Ax=b，幸运的是它也简化了理论。存在性和唯一性的基本问题(一个解或没有解或无穷多个解)在消去之后很容易回答，我们现在就针对m×n系统讨论这些问题。

但消去只有得到了一种Ax=b的一种理解，我们的主要目标是实现不同和更深层次的理解，之后的内容比之前的难一点，它将通向线性代数的核心。

为了给出向量空间的概念，我们首先介绍一下最重要的空间，他们用R1,R2,R3,…表示；Rn空间由n个列向量组成。(我们用R表示元素都是实数)R2通常用x−y平面来表示；向量的元素变成对应点的x,y坐标，R3空间中的向量有三个元素，他们确定的点位于三维空间里，而一维空间R1是一条线。

线性代数有价值的就是到n维空间的扩展非常直接，对于R7中的向量，我们只需要七个元素，虽然几何上很难可视化。在所有的向量空间内，下面两种操作都是可能的：

我们可以将任意两个向量相加，我们可以用标量和向量相乘。换句话说，我们可以进行线性组合。

加法满足交换律x+y=y+x；有零向量满足0+x=x；有负向量−x满足−x+x=0。八条性质(包括这三条)是基本要求；(这里没有列出其余五条，大家可以上网查找或给博主留言)实向量空间就是满足向量加法和实数乘法的向量集合，加法和乘法得到的向量肯定还在空间内，并且还得满足八个条件。

一般情况我们讨论的向量都是属于空间Rn的；他们是普通的列向量。如果x=(1,0,0,3)，那么2x(x+x)的元素就是2,0,0,6。下面我们给出是三个例子：

1. 无限维空间R∞，它的向量有无限多个元素，就像x=(1,2,1,2,…)，x+y,cx法则依然成立。
2. 3×2矩阵的空间，这种情况下向量就是矩阵！我们能够将两个矩阵相加并且A+B=B+A，存在零矩阵等等，这个空间几乎和R6一样。(六个元素组织在矩阵里而不是一列)对于任何m,n，类似的将得到m×n矩阵的向量空间。
3. 函数f(x)空间，对于任何定义在闭区间上例如0≤x≤1的函数f，都属于该空间。像f(x)=x2,g(x)=sinx,(f+g)(x)=x2+sinx,3x2,−sinx等等，这些向量是函数，它的维数比R∞还要大

我们想描述向量空间并解释为什么他们如此重要。几何上，考虑常见的三维R3并任意选择一个通过原点的平面，那个平面是一个向量空间，如果我们用3 或-3或任何一个数乘以平面里的一个向量，得到的向量依然在这个平面内。如果我们将平面内的两个向量相加，他们的和依然在平面内，平面通过(0,0,0)说明了线性代数最基本想法中的一个；它是原空间R3的子空间。

定义：向量空间的子空间是非空子集，它满足线性空间的要求：线性组合。

1. 如果将子空间里的任意向量x,y相加，x+y在子空间内。
2. 如果将子空间里的任意向量x和任意标量c相乘，cx在子空间内。

注意我们强调空间这个词，子空间是一个子集，它对加法和标量乘法封闭。这些操作跟随主空间的规则，在子空间内部依然保持，八条性质更大的空间都是满足的，因此在每个子空间里自动满足。特别需要注意的是零向量属于每一个子空间，因为根据第二条性质：我们选择标量c=0。

最小的子空间Z只包含一个向量，那就是零向量，它是零维空间只包含原点，对规则1,2都满足，因为0+0在这个空间里，所有c0也在这个空间里，最小空间不能为空所以这既是最小的向量空间。另一个极端情况是，最大的子空间是原始空间，如果原空间是R3，那么可能的子空间为：R3本身，任何通过原点的平面，任何通过原点的线或单独一个原点(零向量)。

子空间和子集合是有区别的，在没有空间的前提下能够进行向量加法和标量乘法吗？

例1：考虑R2中的所有元素为非负的向量，这个子集合是x−y平面的第一象限；坐标满足x≥0,y≥0。但它不是一个子空间，虽然它包含零并且向量加法都在空间内，但是法则2不满足，因为如果标量-1乘以向量[1,1]的话，结果为[−1,−1]，它在第三象限而不是第一象限。

如果我们包含一三象限，那么标量乘法也满足。然而，法则1 将不满足，因为[1,2]+[−2,−1]=[−1,1]不在这两个象限内。包含第一象限最小的子空间是整个R2空间。

例2：从3×3矩阵空间开始，一个可能的子空间是下三角矩阵的集合，另一个是对称矩阵的集合，如果A,B是下三角矩阵，那么A+B,cA是下三角矩阵，如果A,B是对称矩阵，那么A+B,cA是对称矩阵。当然，子矩阵都在这两个子空间里。

矩阵的列空间

现在我们看一个比较关键的例子，矩阵A的列空间和零空间。列空间包含矩阵A列的所有线性组合，它是R3的子空间，我们用一个m=3,n=2的系统来说明：

⎡⎣⎢152044⎤⎦⎥[uv]=⎡⎣⎢b1b2b3⎤⎦⎥(1)

当m>n时我们的方程个数比未知量要多(通常情况下这没有解)，这个系统只对一小部分b有解。

1、对于Ax=b，当且仅当b可以表示为A列的线性组合是它才有解，此时b在其列空间里。

这段描述只是从列的角度重述了Ax=b：

u⎡⎣⎢152⎤⎦⎥+v⎡⎣⎢044⎤⎦⎥=⎡⎣⎢b1b2b3⎤⎦⎥

注意问题是：找出u,v使得他们乘以第一和第二列得到b，当这样的系数存在时该系统才有解，向量(u,v)就是解x。

我们有效的b是A列的线性组合，一种可能是第一列，此时u=1,v=0，另一种可能是第二列，此时u=0,v=1，第三种可能是b=0，此时u=0,v=0。

我们可以从几何上描述列的所有线性组合：对于Ax=b，当且仅当b位于两个列向量确定的平面上(图1)时它是有解的。如果b 位于平面外，那么就不在两列的组合，也就是Ax=b无解。

重要的是，这个平面不仅仅是R3的子集合，它还是一个子空间。我们用C(A)表示，Rm的子空间很容易检查是否满足规则1和2：

1. 列假设b,b′位于列空间上，也就是存在x,x′使得Ax=b,Ax′=b′，那么A(x+x′)=b+b′，所以b+b′也是列的线性组合，所以列空间对加法是封闭的。
2. 如果b在列空间C(A)里，那么cb也在里面。如果某个列的组合(Ax=b)得到b，那么组合乘以c将得到cb，也就是说A(cx)=cb。
   
   
   图1
   
   对于另一个矩阵A，图1中的维数可能不同，最小的列空间是A=0，唯一的列组合是b=0。另一个极端的例子是，假设A是5×5单位矩阵，那么C(I)就是整个R5空间；I的五个列空间可以组合出任何五维向量b，这不是单位矩阵特有的，任何5×5的非奇异矩阵它的列空间都是整个R5空间，对于这样的矩阵我们可以用高斯消元法求解Ax=b；有五个主元，因此对每个非奇异矩阵，b都位于C(A)中。

对于奇异矩阵和任何形状的长方形矩阵，C(A)是位于零空间和Rm空间之间的，结合它的垂直空间我们能够更好的理解Ax=b。

零空间

Ax=b的第二个方法与第一个是对偶的，我们现在不仅关注右边的b，也关注一下得到的解x。当右边为0时，肯定存在解x=0，但是有可能有许多其他解。(如果未知数个数大于方程个数，那么一定存在非零解)Ax=0的解形成了一个向量空间-A的零空间。

矩阵的零空间由所有Ax=0的向量x组成，用N(A)表示，它是Rn的子集合，就像列空间是Rm子集合一样。

规则1满足：如果Ax=0，Ax′=0，那么A(x+x′)=0。规则2也满足：如果Ax=0，那么A(cx)=0。如果右边非零的话，规则就都不满足！只有齐次方程的解形成了子空间。上面的例子很容易求出零空间；它尽可能的小：

⎡⎣⎢152044⎤⎦⎥[uv]=⎡⎣⎢000⎤⎦⎥

第一个方程给出u=0，第二个给出v=0，零空间只包含向量(0,0)，这个矩阵列是相互独立的——这个概念不久就给出。

当第三列是前两列的组合式，情况就发生了变化：

B=⎡⎣⎢152044196⎤⎦⎥

B和A有同样的列数，从图1可以看出新的列位于平面内；它是前两个向量之和。但是B的零空间包含向量(1,1,−1)，所以自动包含任何乘数对应的(c,c,c)：

⎡⎣⎢152044196⎤⎦⎥[cc−c]=⎡⎣⎢000⎤⎦⎥

B的零空间是所有点x=c,y=c,z=−c组成的线(这条线通过原点，就像任何子空间必须满足的那样)，对于Ax=b，我们能够求出C(A),N(A)：所有有效的b和Ax=0的解。

向量b在列空间里，向量x在零空间里，我们将计算这些子空间的维度以及生成他们的向量集合。我希望最后大家能够理解四个和A相关的子空间——列空间，零空间以及与他们两个垂直的空间。