复习机器学习算法:Logistic 回归
来源:互联网 发布:linux centos镜像 编辑:程序博客网 时间:2024/05/22 06:29
区别于线性回归,不是把每个特征直接乘以系数,而是用一个S型函数(Logistic函数)。如下:
使用这种形式函数的原因(概率、求导)。
代价函数,也不是线性回归中的误差平方和,而是基于对数似然函数,如下:
单个样本的后验概率为:(y = 0, 1) 类似于二项分布的概率密度函数。
整个样本集的后验概率:
对数似然函数对于代价函数,如下:
梯度下降法求解,对上面的代价函数求导,如下:
误差乘以对应的属性值,再求和。形式和线性回归一致,解释了为何设计这样的S型函数和代价函数。这样的梯度下降法的计算量简单。
LR回归的优点:计算量小,从梯度下降法求导公式可以看出;可以处理非线性数据。
缺点:容易发生过拟合。
如何避免过拟合:
(1) 降维,可以使用PCA算法把样本的维数降低,使得模型的theta的个数减少,次数也会降低,避免了过拟合;
(2) 正则化,设计正则项regularization term。
正则化作用就是防止某些属性前的系数权重过大,出现过拟合。
注意LR回归中解决过拟合的方式和决策树中解决的方法不同。
1 0
- 复习机器学习算法:Logistic 回归
- 机器学习--Logistic回归算法
- 机器学习算法---Logistic回归
- 机器学习复习——Logistic回归
- 机器学习经典算法4-logistic回归
- 机器学习--Logistic回归算法案例
- Logistic回归---机器学习算法之四
- 【机器学习算法】之logistic回归
- 【机器学习算法】之logistic回归
- 机器学习经典算法logistic回归
- 机器学习算法疗程(logistic 回归)
- 机器学习算法——logistic回归
- 机器学习笔记之Logistic回归算法
- 机器学习中的Logistic回归算法(LR)
- 机器学习算法(4) Logistic回归
- 机器学习-Logistic回归
- 机器学习-logistic回归
- 【机器学习】Logistic回归
- 铁客网络订票系统 铁客订票 12306
- 什么是面向服务架构:全面解读SOA
- 值得学习的C语言开源项目
- ActionBar中添加菜单
- VMware 打开后无法最小化,最小化后马上又自动弹出窗口
- 复习机器学习算法:Logistic 回归
- UGUI之Toggle之单选框及复选框制作
- eclipse+jadClipse反编译工具插件
- JAVA 实现HTTP POST请求报文格式分析
- linux自动清理工具
- 【SICP练习】82 练习2.54
- w3wp.exe占用CPU高达100% 要怎么解决
- Android打包并发布自己的App
- 怎样退出android