线性回归和logistic回归 (linear regression and logistic regression)
来源:互联网 发布:苹果5是否支持4g网络 编辑:程序博客网 时间:2024/05/18 01:41
原文地址:http://blog.163.com/huai_jing@126/blog/static/1718619832011930826843/
1. 线性回归
1.1 定义
给定输入向量,希望预测输出Y。线性回归模型为:
其中是截距,是系数,而变量可能来自不同的源(定量输入或者定量输入的变换,多项式表示,变量之间的交互,例如等),但是模型在参数上都是线性的。
1.2 参数估计(最小二乘估计)
给定一组训练集,每个是第i个数据的特征向量。令,现在要估计参数。
用最小二乘估计,通过极小化残差平方和(或RSS):
令X表示下面的的矩阵,每行代表一个输入向量:
y是训练集的输出向量,,则RSS可以写成:
对求导,得到:
如果X列满秩,则正定,令上式为0:,得到唯一解:
则预测值为:
其中矩阵,称为"帽"矩阵(也称投影矩阵)。
1.3 用于分类
下图是输入对和的训练数据散点图,输出类变量G用GREEN和RED表示。
用线性回归拟合这些数据,响应变量Y用0和1分别表示GREEN和RED,分类规则为:
两个预测类的判定界面(decision boundary)是:。
2. logistic回归
2.1 定义
logistic回归通过对x的线性函数对K个类的后验概率建模,同时确保它们的和为1,并都在[0,1]中。具体形式为:
并且: ,它们的和为1。
令参数集,则概率可以写为:
可见,logistic回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射。
2.2 拟合logistic回归
常用极大似然拟合logistic回归,N个观测的对数似然是:
其中:。
我们讨论2类问题。用0/1响应来对编码。,同时令和,带入,通过化简,对数似然可以写为:
其中,并假设输入向量包含常数项1,方便包含截距计算。
2.3 参数求解(重加权最小二乘算法)
为极大化对数似然,求导有:
为求解上式,使用Newton-Raphson算法,需要借助二阶导数:
单个Newton-Raphson更新是:
(式中的导数在处计算)。
为方便计算,我们写成矩阵形式。设y表示值向量,X是值的矩阵,P是其第i个元素是的拟合概率向量,W是权为对角矩阵,第i个对角元素为。那么
Newton-Raphson步骤写成矩阵形式为:
其中:。这些方程重复求解,因为每次迭代P都变化,从而W和Z也变化,所以该算法叫做重加权最小二乘算法。(最小二乘中参数,比上面的式子少了权重W。)
3. 总结
线性回归求解参数过程常用最小二乘估计。
logistic回归本质上也是线性回归,只是在特征到结果的映射中加入了一层函数映射;常用极大似然拟合logistic模型,用重加权最小二乘算法来求解参数,极大化似然。
- 线性回归和logistic回归 (linear regression and logistic regression)
- 线性回归和logistic回归 (linear regression and logistic regression)
- 线性回归 Linear Regression, 逻辑回归 Logistic Regression 小结
- 从线性回归(Linear regression)到逻辑回归(Logistic regression)
- 回归(regression)和logistic regression
- Matlab实现线性回归和逻辑回归: Linear Regression & Logistic Regression
- Matlab实现线性回归和逻辑回归: Linear Regression & Logistic Regression
- 逻辑回归(logistic regression)和线性回归(linear regression)
- Matlab实现线性回归和逻辑回归: Linear Regression & Logistic Regression
- Matlab实现线性回归和逻辑回归: Linear Regression & Logistic Regression
- Matlab实现线性回归和逻辑回归: Linear Regression & Logistic Regression
- Matlab实现线性回归和逻辑回归: Linear Regression & Logistic Regression
- Matlab实现线性回归和逻辑回归: Linear Regression & Logistic Regression
- 线性回归、梯度下降、逻辑回归(Linear Regression、Gradient Descent、Logistic Regression)
- Logistic and Softmax Regression (逻辑回归和Softmax回归)
- Logistic and Softmax Regression (逻辑回归和Softmax回归)
- Logistic regression回归模型
- logistic regression 逻辑回归
- 安卓小说阅读器实现之三 左右划屏的实现 SlidingLayout(包含源码)
- Python sum函数的改进(用到的知识:静态变量、list、可变长参数等)
- HDU2073 无限的路
- android ant多渠道 批量打包 遇到问题及解决
- 微博消息队列架构分析
- 线性回归和logistic回归 (linear regression and logistic regression)
- VC网络协议
- ibatis 2.3x logging 加载机制, 输出sqlmap jdbc日志信息
- 2015年工作中遇到的问题:11-20
- 拯救程序猿,先从了解他开始!
- 用Vim打造Perl的IDE
- Step By Step(Lua迭代器和泛型for)
- linux ipv6内核设置
- Spring MVC简单介绍