牛顿迭代法 && 高斯牛顿法

相关知识

1. 多元函数的泰勒展开：
   原文：http://blog.sina.com.cn/s/blog_6819cb9b0100mkkx.html

2. 雅克比矩阵和海森矩阵：
   原文：http://jacoxu.com/?p=146

3. 雅克比矩阵：
   原文：http://blog.sina.com.cn/s/blog_4062094e0100c2p1.html

4. 【math】梯度下降法(梯度下降法，牛顿法，高斯牛顿法，Levenberg-Marquardt算法)

   原文：http://blog.csdn.net/dsbatigol/article/details/12448627

5. 高斯牛顿法
   原文：http://www.cnblogs.com/rongyilin/archive/2012/12/21/2827898.html

6. 多视图几何附录4 迭代估计方法

7. 着重看这篇文章，思路非常清晰，还有源码。作者的其他论文也值得欣赏：http://www.voidcn.com/blog/jinshengtao/article/p-6004352.html，对于它的缺点，我们通过增加线性搜索策略，保证目标函数每一步下降，对于几乎所有非线性最小二乘问题，它都具有局部收敛性及总体收敛，即所谓的阻尼高斯牛顿法。

---

个人感悟：解方程组F（x）=0 这种问题 和 目标函数是非线性最小二乘的最优化问题，个人感觉是相通的：在解方程F（x）=0这个问题中，可以这么看，残差r相当于F(x)-0，即r=F（x），目标函数即ri的平方和，这样可以把这个解方程的问题转化为目标函数是非线性最小二乘的最优化问题。因此，这两种问题的迭代公式是一样的