最小二乘与梯度下降

http://blog.csdn.net/guang09080908/article/details/41415193 说：

最小二乘和极大似然是目标函数，梯度下降是优化算法。

机器学习的核心是一个model，一个loss fuction，再加上一个优化的算法。一个目标函数可以用不同的优化算法，不同的目标函数也可以用相同的优化算法。所以最小二乘和极大似然根本不是算法，和梯度下降毫无可比性。

最小二乘法是求误差的平方和最小的方法，ml中可以用来建立cost function，最小二乘法可以由极大似然推倒出； 而梯度下降是求目标函数（目标函数可以是cost function）极值的迭代方法; 最小二乘法给出的cost function 可以使用矩阵求解（就是使用数学方法求最小值点）或者迭代法（如梯度下降法）就极值点。