梯度下降（cs229笔记）

1.批梯度下降算法

当接近局部最小值时，梯度为0，则步长越来越小。

2.收敛与否可根据两种情况判断：1）预测值是否发生变化。2）参数是否变化。

3.当样本数量大，不应采用批梯度下降算法，而应采用随机梯度下降算法，或称为增量梯度下降算法

Repeat  { For j = 1 to m ......

4.关于迹的运算法则

1）trAB = trBA

2)  trABC = trBCA = trCAB

3)  

4)  

5)  if a是实数,tra = a

6)  

5.求解参数的值

所以，