乱七八糟

batch gradient desent 批量梯度下降

传统的梯度下降方法，需要遍历每个样本

stochastic gradient descent 随机梯度下降

遍历每个样本，外循环设置遍历次数，通常一次即可（1-10次），α可以取常数也可以取(constant1)/(numberofiterations+constant2)，如果取后者随着迭代次数增加α会逐渐变小，因此更容易接近局部最优。

红色为批量梯度下降，粉色为随机梯度下降。随机梯度下降每次迭代都会像当前样本拟合，因此当前样本属于奇异点时可能会使的梯度上升，但是大数据中大多数样本符合正常规律，因此一般会逐渐像局部最优靠近，但还是不稳定。

Mini-batch gradient desent 最小批量梯度下降

上限分析

滑窗识别

人造数据