LR逻辑回归学习总结

LR是一个很好的分类器，之前学过也用过，这次重新看了书和Andrew老师的课，把之前迷惑的地方总结一下。

关于分界线

hθ(x)=11+e−θTx

其实我们用LR求出的值是对于给定x、θ下y=1的一个概率估计，也是就p(y=1|x;θ).

可以看出，当我们想要预测:

• y=1，hθ(x)≥0.5 ，此时 θTx≥0
• y=0，hθ(x)<0.5 ，此时 θTx<0

因此，y=0,y=1的分界线为 θTx=0

对于分界线为非线性的时候，可以考虑加入高阶项，例如hθ(x)=g(−1+x21+x22)的分界线就是一个半径为1的圆（x21+x22=1）。

---

误差函数

误差函数有以下形式：

J(θ)=1m∑i=1mcost(hθ(x)(i),y(i))

在线性回归中

cost(hθ(x)(i),y(i))=12(hθ(x)−y)2

其中，h是关于θ的线性函数，cost函数是一个凹函数(convex)，因此在使用梯度下降法时可以得到全局最优解。
在LR逻辑回归中，hθ(x)是非线性的，若还用上述cost函数，得到的是一个非凹函数，存在很多局部最优解，梯度下降法无法保证得到的解是全局最优的。所以在LR中改用以下的cost函数。

在逻辑回归中

cost(hθ(x)(i),y(i))={−log(hθ(x)),−log(1−hθ(x)),y=1y=0

上述公式可以保证：

• 当y=1时，h越靠近0，误差越大，h越靠近1时，误差越小，h=1时，即预测完全正确，误差为0；
• 当y=0时，h越靠近1时，误差越大，h越靠近0时，误差越小，h=0时，即完全预测正确，误差为0；

梯度下降

我们已知误差函数是一个凹函数，可以用梯度下降法求使误差最小的θ。

θj:=θj−α∂∂θjJ(θ)

求导过程：