逻辑回归
来源:互联网 发布:mac合盖播放 编辑:程序博客网 时间:2024/06/05 18:53
本文转至:http://blog.csdn.net/programmer_wei/article/details/52072939
梯度下降详解参考:http://blog.csdn.net/lookqlp/article/details/51161640Logistic Regression(逻辑回归)是机器学习中一个非常非常常见的模型,在实际生产环境中也常常被使用,是一种经典的分类模型(不是回归模型)。本文主要介绍了Logistic Regression(逻辑回归)模型的原理以及参数估计、公式推导方法。
模型构建
在介绍Logistic Regression之前我们先简单说一下线性回归,,线性回归的主要思想就是通过历史数据拟合出一条直线,用这条直线对新的数据进行预测,线性回归可以参考我之前的一篇文章。
我们知道,线性回归的公式如下:
而对于Logistic Regression来说,其思想也是基于线性回归(Logistic Regression属于广义线性回归模型)。其公式如下:
其中,
sigmoid的函数图形如下:
我们可以看到,sigmoid的函数输出是介于(0,1)之间的,中间值是0.5,于是之前的公式 hθ(x) 输出是介于(0,1)之间,也就表明了数据属于某一类别的概率,例如 :
hθ(x)<0.5 则说明当前数据属于A类;
hθ(x)>0.5 则说明当前数据属于B类。
所以我们可以将sigmoid函数看成样本数据的概率密度函数。
有了上面的公式,我们接下来需要做的就是怎样去估计参数 θ 了。
首先我们来看, θ 结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为:
极大似然估计
根据上式,接下来我们可以使用概率论中极大似然估计的方法去求解损失函数,首先得到概率函数为:
因为样本数据(m个)独立,所以它们的联合分布可以表示为各边际分布的乘积,取似然函数为:
取对数似然函数:
最大似然估计就是要求得使 l(θ) ,这里可以使用梯度上升法求解。我们稍微变换一下:
因为乘了一个负的系数−1m,然后就可以使用梯度下降算法进行参数求解了。梯度下降具体就不在这里多说了,可以参考之前的文章。
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 详细记录python的range()函数用法
- HDU2522(分数化小数,简单的模拟)
- Linux常用的指令
- RQNOJ PID36 数石子
- 常用的网页加载进度条之【制作进度条】
- 逻辑回归
- bzoj3632外太空旅行 随机化求最大团
- day3
- 深度探索C++对象模型——Data Member的布局(2)书上的错误
- 继承和多态
- 正则表达式--1
- 14_调整数组顺序使奇数位于偶数前面
- 递归函数使用引用传递的问题
- xargs和grep的区别