机器学习：Logisitic回归

来源：互联网发布：树莓派3 有线网络配置编辑：程序博客网时间：2024/06/03 14:14

Logistic回归（logistic regression）是统计学习中经典的分类方法，其模型属于对数线性模型。

1.Logistic分布（logistic distribution）

什么是logistic分布？
我们假设有一组变量X是连续随机变量，当X具有下列分布函数和密度函数时，我们就说X服从Logistic分布，
分布函数： $F(x)=P(X\leq x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$
密度函数： $f(x)=F{}'(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma })^{2}}$
式中， $\mu$ 位置参数，这里写图片描述为形状参数。

logistic分的密度函数F(x)和分布函数F(x)的图形如下所示：
这里写图片描述
分布函数属于logistic函数，是一条S曲线（Sigmoid），可以看出，曲线在中心附近增长速度较快，在两端增长速度较慢，形状参数 $\gamma$ 的值越小，曲线在中心附近增长得越快。

2.二项logistic回归模型

什么是二项logistic回归模型？

二项logistic回归模型是一种分类模型，其模型是如下的条件概率分布：

$P(Y=1\mid x)=\frac{exp(w\cdot x\cdot +b)}{1+exp(w\cdot x\cdot +b)}$

$P(Y=0\mid x)=\frac{1}{1+exp(w\cdot x\cdot +b)}$
其中x是输入， $y_{i}\in$ {0, 1}是输出，w和b是参数，w为权重向量，b为偏置。

上述两式即求出了实例x的条件概率，logistic回归通过比较这两个条件概率的大小，将实例x分到概率值较大的那一类。

3.模型参数估计

对于给定的训练数据集 $T=\left \{ (x_{1},y_{1}),(x_{2},y_{2}),...,(x_{1},y_{1}),...,(x_{N},y_{N}) \right \}$ ，其中 $y_{i}\in$ {0, 1}，这里应用极大似然法来估计模型参数。

假定:
$P(y=1\mid x;w)=h_{w}(x)$
$P(y=0\mid x;w)=1-h_{w}(x)$
则
$P(y\mid x;w)=h_{w}(x)^{y}(1-h_{w}(x))^{1-y}$

似然函数为

$L(w) = p(Y\mid X;w)$
$= \prod_{i=1}^{N}p(y^{(i))}\mid x^{\left ( i \right )};w)$
$= \prod_{i=1}^{N}(h_{w}(x^{(i)}))^{y^{(i)}}(1-h_{w}(x^{(i)}))^{1-y^{(i))}}$

接下来就是取对数似然函数，对对数似然函数取极大值，即得到w的估计值。

对对数函数求导的求导公式略繁琐，就以下面几张图片做展示（来自邹博老师的课件），这里的 $\theta$ 即为我们上面所描述的w.

这里写图片描述

0 0