算法关系梳理

机器学习解决的问题可以分为两类：回归和分类

所谓回归就是预测模型的最优参数，其步骤一般为：

（1）根据最大似然（MLE），最大后验（MAP）或最小误差准则建立目标函数。最大似然函数比较好理解，贝叶斯准则是利用的最大后验准则。

（2）借助优化方法，找到模型中的最优参数。常见的优化方法有：最小二乘方法、EM方法、梯度下降法（一阶泰勒展开）、梯度上升法、随机梯度下降法、牛顿法（二阶展开）。其中最小二乘法是从极大似然准则出发以高斯模型为假设前提导出的目标函数。GMM（高斯混合模型）也是从极大似然函数出发，结合了最大后验概率的目标函数，优化求解时使用了EM方法。