关于梯度下降的的一些理解

印象特别深的就是那个站在小山上，寻找最快下山的路径的描述：站在小山上，每往下走一步，就观察一下，看是

不是最快的下山的路，每次的观察，就是寻找最优的thet的方法。
梯度下降是伴随回归问题的，一般，梯度下降是为了求出回归问题的参数thet的最优解。
下面贴一个网址，有C代码，我就不献丑了
http://blog.csdn.net/pennyliang/article/details/6998517
在上面博客里的代码我们能够清晰的发现，批梯度下降和随机梯度下降的差别就在于：批梯度下降是每走
一步，都会把所有的训练集训练一遍，而随机梯度下降，走一步就只用一个训练集来训练。