回归：逻辑回归 Logistic Regression

来源：互联网发布：手机淘宝退款流程编辑：程序博客网时间：2024/05/22 10:59

这里为二分类的logistic回归，即结果取值只有｛0，1｝的分类回归模型。例如，基于今天的天气情况，预测明天是否晴天，明天是否晴天就是取值只有两个的决策。那么在这里我们使用：

$g(z)=\frac{1}{1+e^{-z}}$ 函数来表示这个函数是著名的sigmod函数。z=0,g(z)=0.5。z>0并且越来越大的时候，g(z)无限趋向于1。z<0并且越来越小的时候，g(z)无限趋向于0。

z有可能为直线，也就是对数据用直线进行二分，那么 $z=\theta_0+\theta_1x_1+...\theta_nx_n$ ，当直线拟合程度不够，z有可能是曲线。

不过，在这里，z是直线，也就是：

$h_\theta(x)=\frac{1}{1+exp(-\theta^{T}x)}$ 其中： $\theta^{T}x=\theta_0+\theta_1x_1+...\theta_nx_n$

从概率上来讲： $P(y=1|x;\theta)=h_\theta(x)$ ， $P(y=0|x;\theta)=1-h_\theta(x)$

可以简化为： $P(y|x;\theta)=h_\theta(x)^{y}(1-h_\theta(x))^{(1-y)}$

似然函数：

$L(\theta)=\prod_{i=1}^{m}P(y^{i}|x^{i};\theta)$ ,则

$l(\theta)=logL(\theta)=log\prod_{i=1}^{m}P(y^{i}|x^{i};\theta)$

$l(\theta)=log\prod_{i=1}^{m}h_\theta(x^{(i)})^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1-y^{(i)}}$

$l(\theta)=\sum_{i=1}^{m}(y^{(i)}logh_\theta (x^{(i)})+(1-y^{(i)})log(1-h_\theta (x^{(i)}))$

求得偏导数：

$\frac{\partial }{\partial \theta_i}=\sum_{i=1}^{m}(y^{(i)}-h_\theta(x^{(i)}))x^{(i)}$

求似然函数最大值，利用梯度上升法：

$\theta_i:=\theta_i+\alpha \sum_{i=1}^{m}(y^{(i)}-h_\theta(x^{(i)}))x^{(i)}$

求得 $\theta$

python实现：

import numpy as npdef sigmod(x):   return 1/(1+np.exp(-x))def decent(x,y):   x1=np.mat(x)   alph=0.0001;   number=200   theta=np.ones((x1.shape[1]))   for index in range(x1.shape[1]):      for index1 in range(number):          theta[index]=theta[index]+alph*np.sum((y-sigmod(np.sum(x*theta,axis=1)))*x[:,index])   return theta

python实现起来，因为numpy的缘故，会很方便。代码量也会很少。就是对于矩阵运算的处理更简洁。

阅读全文

0 0