优化求解记录

这篇博客会记录一些常用的优化求解的算法，包括讲解比较清晰的博客和一些自己的理解：坐标下降法：固定其他维度的坐标，对某一个维度沿着该维度的坐标轴进行进行下降，知道找到最值http://blog.sina.com.cn/s/blog_a491b73e0102uwg9.html下面的网站有对下面几个方法的比较：http://www.cnblogs.com/maybe2030/p/4751804.htmlhttp://blog.csdn.net/majinlei121/article/details/47260917http://seat.massey.ac.nz/personal/s.r.marsland/MLBook.html牛顿法（拟牛顿法）优化求解极值：http://blog.csdn.net/luoleicn/article/details/6527049http://tutorial.math.lamar.edu/Classes/CalcI/NewtonsMethod.aspx其中涉及到的hessian矩阵：http://baike.baidu.com/link?url=KJ3plmMCuZknDkLc0Hqp8hI9O55QJwSaWqwRavPT3jj9e0SsWvig5ZSn87twUElS6zHty6xQYeIPO2xZNnYnfa梯度下降法，随机梯度下降法拉格朗日对偶Levenberg-Marquardt最优化算法（非线性最小二乘）http://blog.sina.com.cn/s/blog_4a8e595e01014tvb.htmlhttps://zh.wikipedia.org/wiki/%E8%8E%B1%E6%96%87%E8%B4%9D%E6%A0%BC%EF%BC%8D%E9%A9%AC%E5%A4%B8%E7%89%B9%E6%96%B9%E6%B3%95open source optimization ：http://ceres-solver.org/index.html