分类算法之logistic 回归模型
来源:互联网 发布:淘宝搞笑好评大全 编辑:程序博客网 时间:2024/05/05 10:44
logistic regression是统计学习中经典的分类算法,属于对数线性模型。
回归模型:
给定一个数据集合
针对二分类问题,我们选择logitic 分布来描述P(Y|X)的分布,
在预测时,给定Input value x,分别计算
关于为什么选择logistic函数,我理解(参考斯坦福视频 Ng的说法):
1.logistic函数形式比较简单,处理起来也比较简单
2.生成模型可以得到判别模型(反过来不成立),生成模型首先对数据建模,假设模型服从F(x)分布,也就是数据可以有F(x)生成,那么F(x)是二项分布、
模型参数估计:
定义模型后,需要基于DataSet学习模型参数,也就是
为了方便计算,定义:
则有:
定义参数的似然函数
对数似然函数:
目前是求
采用的方法是梯度下降或者牛顿法。
之前对模型的推导不理解,也很好奇,所以尽可能的将推导过程写出来,检验一下。
其中
那么
基于梯度下降方法,有
进行迭代,求解参数。
这种做法每迭代纠结一个参数,需要遍历一遍数据,效率低。
Ng提到做随机梯度下降,只需要遍历一遍数据,但是不一定是最优解
for i to N {
for j to M;
}
可能在工程上或者分布式应用上,有其他做法,后续研究
多类别回归模型:
之前计算的都是基于二类的,现实中分类可能是多类别的,所以进行扩充
我们定义
K表示对应的类别个数,需要
对应的对数似然函数,可以这样来描述:
备注:
K表示类别的总个数,M表示特征的总个数,也是
对
采用极大似然估计以及梯度下降等方法,可以求出
转载地址:http://www.hxxiaopei.com/?p=117
- 分类算法之logistic 回归模型
- [学习笔记]分类算法之logistic 回归模型
- 分类算法:Logistic回归
- 【机器学习算法模型】分类算法——logistic回归
- 数据挖掘回顾四:分类算法之 logistic回归 算法
- 分类数据之logistic回归
- 机器学习算法整理之Logistic Regression (LR) 逻辑斯谛回归 :分类方法(对数线性模型)
- R分类算法-Logistic回归算法
- 对数线性模型(Logistic回归算法)
- Logistic回归多分类之鸢尾花
- 机器学习之logistic回归与分类
- Logistic回归分类
- logistic回归分类
- logistic回归分类
- Python Logistic 回归分类
- 分类和Logistic回归
- 机器学习算法(分类算法)—Logistic回归
- Logistic回归---机器学习算法之四
- repeater插入,多选删除,条件查询实例(存储过程实现)
- Android的Window类
- asp.net里面用appscan扫描部分漏洞与解决方法(一)
- 雷锋科普:从HDMI到MHL,手机也走进高清输出的时代
- BS开发入门——Html
- 分类算法之logistic 回归模型
- Windows IOCP模型与Linux EPOLL模块之比较
- 10个时间管理技巧
- Adding and Removing Subviews(增加和删除子视图的官方文档)
- python的MD5实例
- 取当前日期上个月的月份再转化成varchar
- 配置oracle stream(step by step setup database level Streams Replication)
- 三步搞定FTP能登录看不到文件问题
- iOS atomic和nonatomic区别