（转）闲话矩阵论！！！（很经典的总结）(

矩阵论主要研究的是线性空间以及在线性空间中的一些操作，主要是线性变换。当然书中主要是针对有限维的情况来讨论的，这样的话就可以用向量和矩阵来表示线性空间和线性变换，同其他的数学形式一样，矩阵是一种表达形式（notation），而这一方面可以简洁地表达出我们平时遇到的如线性方程和协方差关系的协方差矩阵等，另一方面又给进一步的研究或者问题的简化提供了一个平台。如特征值分析、稳定性分析就对应着诸如统计分布和系统稳定性等实际问题。而一系列的分解则可以方便方程的数值计算。作为矩阵论的学习，我们需要了解具体的一些计算究竟是怎么算的，但更关键的是要知道各个概念和方法的实际意义，各个概念之间的关系。

　首先介绍的是线性空间，对于线性空间中的任意一个向量的表示由基（相当于度量单位）和坐标（相当于具体的尺度），基既然作为度量标准了，当然要求对每一个向量都适用，同时这个标准本身也应该尽可能的简洁，那么就得到了基定义的两点约束　１、基的组成向量线性无关；２、线性空间中的任一个向量都可以由基的线性表示。

　　基作为一种“计量标准”，当然可能会存在多种形式，只要满足上面的两点条件，因而就有必要解决不同的度量标准之间的转换关系，从而得到过渡矩阵的概念，同时可以使用这种转换关系（过渡矩阵）去完成度量量（坐标）之间的转换。

　　在完成了线性空间这一对象的认识和表达之后，下面需要研究对象和对象之间的关系。这里主要是线性变换，线性变换针对于实际对象主要完成类似于旋转和尺度变换方面的操作，而这种操作也牵涉到表达的问题。为了保持与空间的一致性，我们也同样是在在特定的基下来表示，从而线性变换就具体化为一个变换矩阵，并且，在不同的基下对应的变换矩阵当然也不相同，这里的不同的变换矩阵的关系就是相似的概念。　　

　　到此，我们完成了空间中向量的表示和线性变换的矩阵表达。这里涉及了基、坐标、过渡矩阵、变换矩阵、相似矩阵这几个重要的概念。上面算是内涵上的认识，下面我们需要知道线性空间里究竟有些什么东西，它是如何组成的，各个组成成分之间的关系，也就是空间的结构性方面的东西。

　　首先认识子空间（空间的组成部分），当然既然也是空间，也就要满足空间的加法和数乘的封闭性，要满足那八条定律。后者可以由父空间保证，前面的就要子空间自身素质了。同时要看子空间之间的并、交、直和运算和相应的秩的关系。这里提到了维数，就要多说几句了，空间中的元素往往是连续过渡的，但是对于有限空间而言还有离散的性质，那就是维数，我称其为“不伸则已，一伸则增一”，从这也就说明了为什么可以用若干个子空间的直和可以等价于原线性空间。

    子空间的形式很多，有生成子空间、值域空间、零空间和特征子空间等等，我们重点看看特征子空间。一个空间可以划分为若干个特征子空间的直和形式，而每个特征子空间的共同特征就是具有相同的特征值，范围就是对应着这个特征值的若干特征向量的生成子空间。

    为什么要这样划分？因为我们在平时的研究中，整个线性空间太大了，我们需要缩小研究范围，某一个或几个特征子空间就够了。或者是模式分类时，每一个样本点就属于某个子空间，我们首先需要知道有哪些类，类的特点是什么，这就是特征子空间。当然对于协方差矩阵而言，特征值还具有能量属性，在清楚各个特征子空间的位置，我们可以通过某些变换改变这些子空间的空间分布。在系统研究中，还可以在清楚特征子空间分布后成功地实现系统或方程的解耦。呵呵，可能其用途很多很多，但关键的一点就是，我们必须认识空间的结构，在此基础上再结合对应的物理空间或几何空间的实际意义进行进一步的处理。

   

    人心苦不足，在知道了上面的东西之后，大家在想，可视的二维平面和三维立体空间中，为了研究向量的长度及向量和向量之间的角度，提出了内积的概念，在线性空间中，人们也对内积的概念作了延拓，于是在原先的线性空间添油加醋改装成了内积空间（分为实数的欧式空间和复内积空间），这里的油醋就是以下的四点：1、交换律；2、分配律；3、齐次性；4、非负性。向量自身的内积开二次根得到长度，两个向量内积除以两个向量的长度得到角度的余弦。所有这些都是与可视空间中的性质是一致的（可以参阅《由相容性想到的》）。这里要注意的是，它只给出了内积的约束，但在具体的向量空间中内积的计算形式却没有硬性规定，要想量化内积，很自然地就是要知道，量化的标准是什么，这就引出了度量矩阵（结合具体的内积计算式，计算得到的基的内积构成的矩阵）的概念。考虑到内积的非负性和交换律，度量矩阵必须是对称正定矩阵。这里也和前面一样，度量矩阵是在一定基下定义的，当基变化了，度量矩阵也会发生改变，相同的内积定义式在不同的基下得到的度量矩阵是合同的，呵呵，又多了一个概念。而且，对称变换、正交性也在内积这找到了家。

    老是待在线性代数的视野范围内，终归有些不爽，下面就正式进入了分析的领域，既然是矩阵分析，首先就是什么是矩阵函数，该如何定义，当然书中是先从矩阵级数出发的，既然是级数，就会牵涉到部分和的收敛问题，收敛就是极限问题，如何定义矩阵的极限？

    最原始的就是按坐标收敛，不过那么多的元素要收敛，太累了！怎么办呢？其实这从本质上来说是多元衡量尺度一元化的问题，于是就找出了范数的概念，用一个范数来代替多个元素的收敛问题讨论。不同矩阵范数的等价性保证了函数极限的一致性。在某种程度上范数成了距离的代名词，但要注意的是范数的概念要比距离强得多（主要是增加了绝对齐次性），我们会用范数去表示不同样本之间的距离，用范数去表示误差程度，用范数去衡量许许多多的表示某种程度的量。

    其实总结到此本来可以宣告结束，但是随着计算技术的发展，诸如线性方程组求解、矩阵求逆等问题都需要一些补充内容：

   1、矩阵分解（简化方程求解）

   2、广义逆（病态矩阵和一般矩阵的求逆问题）不过其最小二乘性质还真好使。

   3、特征值估计（求高阶的多项式方程可是要命的事，大概知道特征值和特征空间的位置对于一定的应用场合就可以了）