机器学习中的 梯度下降与矩阵方程法

梯度下降:

1 问题的引出

对于线性回归问题，参数为θ₁，θ_0，损失函数定义如下图所示

为了简化问题，我们令θ0=0，目标是优化J(θ1)，得到其最小化，下面给出TrainSet，{(1,1),(2,2),(3,3)}通过手动寻找来找到最优解，由图可见当θ1取1时，与y⁽ⁱ⁾完全重合，J(θ1) = 0

下面是θ1的取值与对应的J(θ1)变化情况

由此可见，最优解即为0，现在来看通过梯度下降法来自动找到最优解，对于上述待优化问题，下图给出其三维图像，可见要找到最优解，就要不断向下探索，使得J(θ)最小即可。

J(θ)的真正图形是类似下面这样的，因为其是一个凸函数，只有一个全局最优解。

一种自动求解最小值的方法就是梯度下降法

对参数向量θ中的每个分量θ_j，迭代减去速率因子a* (dJ(θ)/dθ_j)即可，后边一项为J(θ)关于θ_j的偏导数

矩阵方程法:

用一次数学意义上的计算就能把所有的 θ 值都求出来，我们用到的就是 normal equation（矩阵方程法）。

θ=(XTX)−1XTy