监督学习——线性回归（二）

上回博客中，我们介绍了LMS算法，它通过梯度下降来最小化J(θ)。接下来介绍第二种方法：标准方程（The normal equations），它不需要借助重复算法而直接求出最小化J(θ)时参数的θ值。在该方法中，我们直接令J(θ)对θ_j 求偏导得到的导函数等于0。

    首先我们来介绍一下线性代数相关的一些知识，它是后续我们过程的基础。

    1）矩阵求导

    假设f为关于矩阵A的函数，定义f对A求导为：

    

   如果 ，
   那么我们有：

   

    另外，“tr.”符号表示矩阵的迹：矩阵对角元素之和。即：

    

    关于矩阵的迹有很多性质，例如：

    

    
    对于上述性质，我们就不一一证明了，感兴趣的可以自己证明。另外|A|表示A的行列式。接下来的四个性质，是我们后面推导会用到的。

    

    2）最小化J(θ)

       输入训练集X表示如下：

      

      注意，这里每一个x⁽ⁱ⁾都是一个训练集输入实例，该实例的值为一个列向量，其行数由训练集实例的输入特征变量的个数决定。即：

      

    同样的Y(公式中为y上加箭头)，即：

      

    前面我们已经知道h_θ(x⁽ⁱ⁾) = (x⁽ⁱ⁾)^Tθ，所以下式等于：     

      

      进一步，我们可以得到如下等式：

      

    对上式求偏导我们有：

    

    令上述偏导等于0，我们得到标准方程：

    

    进一步，利用该等式，我们就可以得到参数θ的取值。即：

    

    通过这种方式，我们就可以准确得到参数θ的值。不得不说，线性代数的魅力无穷啊，除了利用在这里，我们还可以发现很多算法书上关于图的算法，都会通过转换为矩阵的形式来得到，数学基本功非常重要啊，可惜我一直数学基础不好，自叹不如啊。