逻辑斯谛（Logistic）回归

Logistic回归模型

logistic分布

逻辑斯谛分布

设X是连续随机变量，X具有下列分布函数和密度函数
F(x)=P(X≤x)=11+e−(x−μ)/γ
f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2
密度函数和分布函数如图所示

分布函数图形是一条S形曲线。该曲线以点(μ,12)位中心对称，即满足
F(−x+μ)−12=F(x+μ)+12
曲线在中心附近增长速度较快，两端较慢。
形状参数γ的值越小，曲线在中心附近增长越快。

二项逻辑回归模型

二项逻辑回归模型是如下的条件概率分布

P(Y=1|x)P(Y=0|x)=exp(w⋅x)+b1+exp(w⋅x+b)(6.5)=11+exp(w⋅x+b)(6.6)

一个事件的几率(odds)是指该事件发生的概率与不发生的概率的比值。如果事件发生的概率是p，那么该事件的几率就是p1−p，该事件发生的对数几率(log odds)或logit函数是
logit(p)=logp1−p
对逻辑斯谛回归而言，由式(6.5)与式(6.6)得
logP(Y=1|x)1−P(Y=1|x)=w⋅x
逻辑回归模型中，输出Y=1的对数几率是输入x的线性函数。

模型参数估计

极大似然估计
设P(Y=1|x)=π(x),P(Y=0|x)=1−π(x)
似然函数为
∏i=1N[π(xi)]yi[1−π(xi)]1−yi
对数似然函数为

L(w)=∑i=1N[yilogπ(xi)+(1−yi)log(1−π(xi))]=∑i=1N[yilogπ(xi)1−π(xi)+log(1−π(xi))]=∑i=1N[yi(w⋅xi)−log(1+exp(w⋅xi))]

对L(w)求极大值，得到w的估计值。
这样，问题就变成了以对数似然函数为目标函数的最优化问题。
通常采用梯度下降（这里是上升，最大化对数似然函数）法及拟牛顿法。

梯度下降法

∂L(w)∂w=∑i=1Nxi(yi−π(x))，其中π(x)=exp(w⋅x)1+exp(w⋅x)
设学习率为α，则梯度上升法的更新公式为
wj=wj+α∑i=1Nxi(yi−π(x))

多项逻辑斯谛回归

假设离散型随机变量Y的取值集合是1,2,...,K，那么多项逻辑斯谛回归模型是

P(Y=k|x)=exp(wk⋅x)1+∑k=1K−1exp(wk⋅x),k=1,...,K−1P(Y=K|x)=11+∑k=1K−1exp(wk⋅x)

sigmoid函数的推导

根据对数几率回归推导

根据最大熵模型推导

http://blog.csdn.net/u012151283/article/details/77619799#t2
令π(x)u=P(Y=u|X)
根据最大熵模型，有

π(x)v≥0∑v=1kπ(x)v=1∑i=1nx(i)jπ(x(i))u=∑i=1nf(u,y(i))x(i)j(for all u,j)

参考资料

《统计学习方法》第6章