高斯牛顿迭代法

①已知m个点：

②函数原型： 

③目的是找到最优解β，使得残差平方和最小： (残差：)

④要求最小值，即S的对β偏导数等于0：

⑤用迭代法逼近解：  其中k是迭代次数，是迭代矢量。

⑥而每次迭代函数是线性的，在处用泰勒级数展开：

其中：J是已知的矩阵，为了方便迭代，令。

⑦此时残差表示为：

⑧带入公式④有：

化解得：

⑨写成矩阵形式：

⑩所以最终迭代公式为：  其中，Jf是函数f=（x，β）对β的雅可比矩阵。