深度学习2线性回归，逻辑回归

继续上一篇的问题，我们采用另外一种方法，采用矩阵的方式重新定义了最小二乘法。

在说这个方法之前，先看看这个矩阵怎么个定义法。

我们知道标量y对矩阵X的导数如下：

好，我们就根据课文中，对矩阵A求导。

然后给出了一个例子：

则

然后根据矩阵迹的概念

对于矩阵的迹有以下性质：

紧接着可以得到下面一些性质，作者给出，没有证明

下面我们重新定义训练数据，定义成矩阵的形式。

每一行为一个训练数据，x为列向量

结果也用向量表示:

由于，则

我们对于一个向量z，我们有，则

这样我们通过这种形式又得到了J，我们的目的也就是使J最小。

好，我们根据上面公式的（2）和（3），我们可以得到

因此，有：

要求最小的J，我们就令上式为0向量。

则，即

这边要注意的是求矩阵的逆的比较慢，X可以求逆。

下面一节就说下为什么采用平方和作为错误估计函数。