逻辑回归原理介绍及Matlab实现
来源:互联网 发布:sql 统计每小时记录 编辑:程序博客网 时间:2024/05/18 02:40
一、逻辑回归基本概念
1. 什么是逻辑回归
逻辑回归就是这样的一个过程:面对一个回归或者分类问题,建立代价函数,然后通过优化方法迭代求解出最优的模型参数,然后测试验证我们这个求解的模型的好坏。
Logistic回归虽然名字里带“回归”,但是它实际上是一种分类方法,主要用于两分类问题(即输出只有两种,分别代表两个类别)
回归模型中,y是一个定性变量,比如y=0或1,logistic方法主要应用于研究某些事件发生的概率
2. 逻辑回归的优缺点
优点:
1)速度快,适合二分类问题
2)简单易于理解,直接看到各个特征的权重
3)能容易地更新模型吸收新的数据
缺点:
对数据和场景的适应能力有局限性,不如决策树算法适应性那么强
3. 逻辑回归和多重线性回归的区别
Logistic回归与多重线性回归实际上有很多相同之处,最大的区别就在于它们的因变量不同,其他的基本都差不多。正是因为如此,这两种回归可以归于同一个家族,即广义线性模型(generalizedlinear model)。
这一家族中的模型形式基本上都差不多,不同的就是因变量不同。这一家族中的模型形式基本上都差不多,不同的就是因变量不同。
- 如果是连续的,就是多重线性回归
- 如果是二项分布,就是Logistic回归
- 如果是Poisson分布,就是Poisson回归
- 如果是负二项分布,就是负二项回归
4. 逻辑回归用途
- 寻找危险因素:寻找某一疾病的危险因素等;
- 预测:根据模型,预测在不同的自变量情况下,发生某病或某种情况的概率有多大;
- 判别:实际上跟预测有些类似,也是根据模型,判断某人属于某病或属于某种情况的概率有多大,也就是看一下这个人有多大的可能性是属于某病。
5. Regression 常规步骤
- 寻找h函数(即预测函数)
- 构造J函数(损失函数)
- 想办法使得J函数最小并求得回归参数(θ)
6. 构造预测函数h(x)
1) Logistic函数(或称为Sigmoid函数),函数形式为:
对于线性边界的情况,边界形式如下:
其中,训练数据为向量
最佳参数
构造预测函数为:
函数h(x)的值有特殊的含义,它表示结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为:
P(y=1│x;θ)=h_θ (x)
P(y=0│x;θ)=1-h_θ (x)
7.构造损失函数J(m个样本,每个样本具有n个特征)
Cost函数和J函数如下,它们是基于最大似然估计推导得到的。
8. 损失函数详细推导过程
1) 求代价函数
概率综合起来写成:
取似然函数为:
对数似然函数为:
最大似然估计就是求使l(θ)取最大值时的θ,其实这里可以使用梯度上升法求解,求得的θ就是要求的最佳参数。
在Andrew Ng的课程中将J(θ)取为下式,即:
2) 梯度下降法求解最小值
θ更新过程可以写成:
9. 向量化
ectorization是使用矩阵计算来代替for循环,以简化计算过程,提高效率。
向量化过程:
约定训练数据的矩阵形式如下,x的每一行为一条训练样本,而每一列为不同的特称取值:
g(A)的参数A为一列向量,所以实现g函数时要支持列向量作为参数,并返回列向量。
θ更新过程可以改为:
综上所述,Vectorization后θ更新的步骤如下:
- 求 A=x*θ
- 求 E=g(A)-y
- 求
10.正则化
(1) 过拟合问题
过拟合即是过分拟合了训练数据,使得模型的复杂度提高,繁华能力较差(对未知数据的预测能力)
下面左图即为欠拟合,中图为合适的拟合,右图为过拟合。
(2)过拟合主要原因
过拟合问题往往源自过多的特征
解决方法
1)减少特征数量(减少特征会失去一些信息,即使特征选的很好)
• 可用人工选择要保留的特征;
• 模型选择算法;
2)正则化(特征较多时比较有效)
• 保留所有特征,但减少θ的大小
(3)正则化方法
正则化是结构风险最小化策略的实现,是在经验风险上加一个正则化项或惩罚项。正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化项就越大。
正则项可以取不同的形式,在回归问题中取平方损失,就是参数的L2范数,也可以取L1范数。取平方损失时,模型的损失函数变为:
lambda是正则项系数:
• 如果它的值很大,说明对模型的复杂度惩罚大,对拟合数据的损失惩罚小,这样它就不会过分拟合数据,在训练数据上的偏差较大,在未知数据上的方差较小,但是可能出现欠拟合的现象;
• 如果它的值很小,说明比较注重对训练数据的拟合,在训练数据上的偏差会小,但是可能会导致过拟合。
正则化后的梯度下降算法θ的更新变为:
二、Matlab实现逻辑回归
clearclcX = xlsread('C:\Users\user01\Desktop\test.xlsx');[m,n] = size(X);%数据归一化处理X(:,1)=X(:,1)/max(X(:,1));X(:,2)=X(:,2)/max(X(:,2));X(:,3)=X(:,3)/max(X(:,3));X(:,4)=X(:,4)/max(X(:,4));X(:,5)=X(:,5)/max(X(:,5));X(:,6)=X(:,6)/max(X(:,6));%将截距项添加至数据集X %X=[X,ones(m,1)];Y=X(:,7);%我们把数据集中所有序号末位为6的设定为测试集,其他的数据为训练集%将数据分为训练集XX1,YY1,测试集XX2,YY2。j=1;k=1;for i=1:m if mod(i,10)==9 XX2(j,:)=X(i,:); YY2(j,:)=Y(i,:); j=j+1; else XX1(k,:)=X(i,:); YY1(k,:)=Y(i,:); k=k+1; endend[m1,n1] = size(XX1);[m2,n2] = size(XX2);%设定学习率为0.01delta=0.01;%收敛到的极值是否与初值无关还待验证theta1=rand(6,1);%训练模型%向量化求解theta%迭代次数num% num = 100;% while(num)% xx = XX1(:,1:4)';% yy = YY1;% A = xx' * theta1;% g = 1/(1+exp(-A));% E = g' - yy;% theta2 = theta1 - delta * xx * E;% % % temp = theta2-theta1;% % theta = norm(temp);% theta1 = theta2;% num = num - 1;% end%%训练模型%公式法求解thetanum = 100;while(num) dt=zeros(6,1); for i=1:m1 xx=XX1(i,1:6)'; yy=YY1(i,1); h=1/(1+exp(-(theta1' * xx))); dt=dt+(yy-h) * xx; end %theta2=theta1+delta*dt; theta2=theta1 - 1/m1*delta*dt; %norm(theta2-theta1) %0.00001 %norm(A) 返回向量A的2范数 temp = theta2-theta1; theta = norm(temp); theta1=theta2; num = num - 1;end%测试数据cc=0;for i=1:m2 xx=XX2(i,1:6)'; yy=YY2(i); ans=1/(1+exp(-theta2' * xx)); if ans>0.5 && yy==1 cc=cc+1; end if ans<=0.5 && yy==0 cc=cc+1; endendcc/m2%测试结果: 正确率为 75.73%。
- 逻辑回归原理介绍及Matlab实现
- 逻辑回归的Matlab实现
- 机器学习:逻辑回归原理及实现代码
- 机器学习逻辑回归:原理解析及代码实现
- 逻辑回归算法的原理及实现(LR)
- Logistic Regression 逻辑回归Matlab实现
- logistic regression 逻辑回归 matlab实现
- 逻辑回归(logistic regression)-matlab实现
- 【机器学习】逻辑回归(matlab实现)
- 机器学习算法--逻辑回归原理介绍
- 逻辑回归原理及推导过程
- 【机器学习】逻辑回归原理及其实现
- 【机器学习】逻辑回归原理及其实现
- 逻辑回归原理(python代码实现)
- 逻辑Logistic回归原理和实现
- 逻辑回归模型介绍和程序实现
- 逻辑回归详解及Python实现
- 逻辑回归的MATLAB实现(二分类问题)
- linux——创建
- node.js 的express服务器报 413 payload too large
- 传输层协议(TCP/UDP)学习总结
- Android初级进阶之自定义View之SafeVeiw
- 计蒜客-单独的数字+求平方根
- 逻辑回归原理介绍及Matlab实现
- opencv开发笔记(十五):特征检测十大方法之SURF算法
- 如何在线免费将MP4转换成MP3格式音乐
- Shiro 的身份认证-Realm
- 关于AppCompatSpinner在某些机型使用popupBackground显示异常的解决方案
- 如何判断Javascript对象是否存在
- 【Java集合类】Vector解析
- 不正常团伙 (离线线段树 莫队)
- 算法分析与设计丨第四周丨LeetCode(7)——Find Bottom Left Tree Value(Medium)