Liner Regression(Gradient descent algorithm)

1，Hypothesis function :hθ=θ0x0++θ1x1…+θnxn

hθ=θTx

假设函数，即目标函数，一般的会使x0=1。
2 , Cost function : J(θ)=12m∑mi=1(hθ(x(i))−y(i))2
代价函数，计算误差平方和，也叫平方和误差代价函数(square error function)。

3 , Gradient descent: To update the θj

θj=θj−aααθjJ(θ)

or θj=θj−a1m∑mi=1(hθ(x(i))−y(i))x(i)j
批量梯度下降法，第二个公式是求偏导后的结果。更新θj的时候注意要把全部值算出来后在更新，不然上一个θj会影响下一个的结果。

pay attention：a是learning rate ，a太小会使得Jθ收敛的很慢，反之则会错过最优解或者直接导致无法收敛。feature scaling可以让迭代次数大幅减少，目标函数更快的收敛。