ML_Liner Regression[机器学习]

关键词：

1.Hypothesis Functio : h(x)=a+bx [假设函数]

2.Parameters：a,b［模型参数］

3.Cost Function: J(a,b) = 1/2m∑1-m (h(x^i)-y^i)^2  ［其中m为学习样本的数量，x^i中的 i 为对应样本的编号 ]

4.Goal: minimize Cost Function J

为了使得代价函数取得最小值，使得回归取得最小值，在Liner Regression中采用梯度下降算法。

一下为该算法记录。

值得注意的是，梯度下降算法不是局限于LR的。

star with some a,b

keep changing a,b to reduce J

until we hopefully end up at a minimun

［其实就是环绕一圈，然后来一发墒增］［纯属个人胡扯］

Gradient descent algorithm

repeat until convergence[收敛]{

(a,b)J=(a,b)J-[Learning Rate]*[Cost Function 微分项]

}

值得留意的是：当Learing Rate过大，可能会导致converge失败，甚至diverge.

然而，显然的是过小，收敛过慢，将导致性能的耗损。

最后，在Liner Regression问题中，Local optimun=Global optimun

然而，Liner Regression显然在复杂问题中是软弱而无力的。