牛顿法求解最小二乘问题（线性回归）

用牛顿法求解代价函数的最小值，这里是n维向量,是实数。


解  牛顿法（详细点此）迭代公式为
，
这里，是关于的偏导数向量；是一个n x n被称作Hessian的矩阵，其元素为
。
先求关于的偏导数


上式即为向量的第个元素，所以


其中，



然后求解海森矩阵，


所以，




从而选择随机初始值，一次迭代后，


我们发现无论取什么值，一次迭代后都为，而此值恰恰为使得取最小值的值。（具体证明请点击此）。


因此，牛顿法经过一步迭代，即可求解最小二乘问题。