逻辑回归关于经验风险最小化的凸近似体现

来源：互联网发布：淘宝卫龙旗舰店编辑：程序博客网时间：2024/06/14 20:17

经验最小化以及逻辑回归的等价问题

经验风险最小化——极小化训练误差（ $\min\hat\varepsilon(\theta)$ ）：

$\min\sum y^{(i)}(1-I(z^{(i)}))+(1-y^{(i)})I(z^{(i)})$

逻辑回归——极大化似然函数（ $\max\mathcal{l}(\theta)$ ）：

$\min\sum y^{(i)}[-\ln g(z^{(i)})]+(1-y^{(i)})[-\ln(1-g(z^{(i)}))]$

其中， $z^{(i)}=\theta^Tx^{(i)}$ 、 $I$ 为示性函数、 $g$ 为逻辑函数。容易看出 $1-I(z^{(i)})$ 由 $-\ln g(z^{(i)})$ 近似， $I(z^{(i)})$ 由 $-\ln(1-g(z^{(i)}))$ 近似。

函数图像

思考

经验风险最小化存在最优解但不一定唯一，而逻辑回归存在唯一解。

逻辑回归由于使用了极大似然估计，所以它不仅关注样本是否被正确分类，还考虑了区分程度。

推导

首先定义一个函数

$\mathbf{1}\{x\}=\begin{cases}1 & x=true\\0 & x=false\end{cases}$

经验风险最小化算法：

$\min\hat\varepsilon(\theta)\\\min\frac1m\sum_{i=1}^m\mathbf{1}\{I(z^{(i)})\ne y^{(i)}\}\\\min\sum \mathbf{1}\{I(z^{(i)})\ne y^{(i)}\}\\\min\sum y^{(i)}(1-I(z^{(i)}))+(1-y^{(i)})I(z^{(i)})$

逻辑回归：

$\max\mathcal{l}(\theta)\\\max\sum y^{(i)}\ln g(z^{(i)})+(1-y^{(i)})\ln(1-g(z^{(i)}))\\\min\sum y^{(i)}[-\ln g(z^{(i)})]+(1-y^{(i)})[-\ln(1-g(z^{(i)}))]$

作业部落版本

https://www.zybuluo.com/a335031/note/37436

0 0