最优化方法综述

本篇文章对常用的最优化方法进行简要介绍和比较，主要涉及的方法有：

1. 梯度下降法
2. 牛顿法、拟牛顿法和高斯牛顿法
3. 共轭梯度法
4. Levenberg–Marquardt
5. 模拟退火法
6. 带约束的最优化问题：拉格朗日乘数法

1. 简介

最优化问题简介

2. 梯度下降法

批量梯度下降法和随机梯度下降法

3. 牛顿法

4. 共轭梯度法

5. Levenberg-Marquardt方法

6. 模拟退火法（启发式方法）

7. 带约束的最优化问题

由于最近比较忙，之后会一一展开。