Stanford机器学习笔记监督学习与梯度下降

Andrew首先举了自动驾驶的例子，是一个监督学习的过程。可以把预测行驶方向看作回归问题。
梯度下降：把目标函数J（theta）想象成一座小山坡，首先确定初始值，想象自己站在初始值这一点，然后360度环绕一周，然后问自己，如果我希望只迈一小步，那么往哪个方向走能使我下山最快？
先向最快下降的方向走一小步，然后再次寻找下降最快的方向，一直走到局部极小值。
梯度下降的性质：一定会结束。起始点选取不同，会找到完全不同的局部最优值，较依赖于初值。
后来他用矩阵和迹的相关知识 推导出最小二乘形式的关于theta的估计。