最小二乘法和梯度下降法

最小二乘法

已知要拟合曲线的方程，一般为多项式方程，需要求解各项的系数。

      

        一般先构造cost function，然后对cost function的每个参数变量求偏导，通过解方程组获得参数值。

梯度下降法

        一种参数迭代更新的算法。