机器学习之logistic回归

@(机器学习)[回归]

logistic回归

在《机器学习之线性回归模型》一章中，我们学习了如何使用线性模型进行回归学习。如果要将线性模型用来分类，就要用到该章结尾介绍的广义线性模型了。
logistic回归模型采用logistic函数来将线性回归产生的预测值z=wTx+b转化为一个接近0或1的y值;

y=11+e−z(1)

由此得到logistic回归模型：

y=11+e−(wTx+b)(2)

假设我们的训练集是由m个已标记的样本构成：{(x(1),y(1)),⋯,(x(m),y(m)),}，输入特征向量x(i)∈Rn+1。（我们约定其中x0=1对应截距项）。
我们将用于分类的函数称为假设函数（hypothesis function），logistic回归中的假设函数为：

hθ=11+e(−θTx)(3)

注意，(3)中的θ等价于[w;b]。
我们可以通过“极大似然法”（maximum likelihood method）来估计θ。不妨设：

P(y=1|x;θ)P(y=0|x;θ)=hθ(x)=1−hθ(x)(4)

那么有

P(y|x;θ)=(hθ(x))y(1−hθ(x))1−y(5)

似然函数为：

L(θ)=P(Y|X;θ)=∏i=1mP(y(i)|x(i);θ)=∏i=1m(hθ(x(i)))y(i)(1−hθ(x(i)))1−y(i)(6)

对数似然函数为：

l(θ)=logL(θ)=∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))(7)

我们将训练模型参数θ使其能够最小化代价函数：

J(θ)=−1m[∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))](8)