线性回归

1.常用矩阵公式

2.线性回归

模型形式：

最小二乘法求解

令上式为0，解得：

梯度下降法求解

目标函数：

损失函数：

梯度下降

对损失函数求导：

θ的迭代公式为：

批量梯度下降：

随机梯度下降：

随机梯度下降在计算下降最快的方向时时随机选一个数据进行计算，而不是扫描全部训练数据集。

3.模型优缺点

优点：
实现简单，计算简单
缺点：
不能拟合非线性数据