斯坦福大学机器学习——广义线性模型
来源:互联网 发布:重生之数据人生 编辑:程序博客网 时间:2024/06/04 23:37
同事提到了SPSS处理广义线性模型问题,今天就抽空对广义线性模型相关概念进行一番梳理。
1.指数分布族
指数分布族(Exponential Family)是这样一组分布:这些分布的概率密度函数可以表示成以下形式:
其中,y是随机变量;h(x)称为基础度量值(base measure);称为自然参数(natural parameter),也称为规范参数(canonical parameter);T(x)称为充分统计量(sufficient statistic);则称为对数分割函数(log partition function)。
指数分布族包括了除了柯西分布和t分布以外的其他基本分布。
下面将几种常用概率分布的化为指数分布族的形式:
伯努利分布(Bernoulli Distribution)
伯努利分布的概率函数为:
,
因此,伯努利分布概率函数可以写成的指数分布函数的等价形式:
其中,,,,
正态分布(Normal Distrbution)
正态分布的概率函数为:
其中:,,,
泊松分布(Poisson Distribution)
泊松分布的概率函数为:
其中:,,,
指数分布(Exponential Distribution)
,其中x>0
其中:,,,
2.广义线性模型概念如果目标变量Y服从指数分布族中某一特定分布,广义线性模型通过连接函数(link function),将重复统计量T(Y)的期望和随机量X的线性组合建立相应的函数关系。即
其中,E(T(Y)|X)表示在X已知的前提下,重复统计量T(Y)的期望值,为线性组合的系数,为线性指示器(linear predictor),g(x)为连接函数。
3.广义线性模型构建
机器学习中广义线性模型的构建是为了通过训练样本来预测y的值。
1)判断在X给定的情况下,Y服从指数分布族中的何种分布;2)
3) 通过连接函数建立X与充分统计量T(Y)之间的函数关系:
下面以常用的分布为例,构建广义线性模型:
伯努利分布
假设在X给定的情况下,Y服从伯努利分布,Y|X~B(n,p),那么预测函数的表达式推导如下:
当n=1时,伯努利分布转化成二项分布,仅有{0、1}二值,,为Logistic回归。
正态分布
假设在X给定的情况下,Y服从期望为方差为的正态分布,即,那么预测函数的表达式推导如下:
那么预测函数的表达式推导如下:
这正是大家熟悉的一般线性回归方程。
泊松分布
假设在X给定的情况下,Y服从泊松分布,Y|X~P()
预测函数的表达式推导如下:
指数分布
假设在X给定的情况下,Y服从指数分布,Y|X~e()预测函数的表达式推导如下:
- 斯坦福大学机器学习——广义线性模型
- 机器学习笔记—指数分布簇和广义线性模型
- 机器学习笔记—再谈广义线性模型
- 机器学习-广义线性模型
- 斯坦福大学公开课机器学习课程(Andrew Ng)四牛顿方法与广义线性模型
- 机器学习-广义线性模型GLM
- 吴恩达机器学习笔记——指数分布族&广义线性模型&逻辑回归概率模型推导
- 监督学习之广义线性模型——Andrew Ng机器学习笔记(三)
- 机器学习(二)——广义线性模型、生成学习算法
- Andrew Ng机器学习笔记(四)——GLM广义线性模型
- 机器学习3——牛顿方法、指数族、广义线性模型
- 机器学习数学原理(2)——广义线性模型
- 机器学习笔记——广义线性模型(Generalized Linear Models, GLM)
- 从GLM广义线性模型到线性回归、二项式及多项式分类——机器学习笔记整理(一)
- 线性回归、logistic回归、广义线性模型——斯坦福CS229机器学习个人总结(一)
- 斯坦福大学机器学习——线性回归(Linear Regression)
- 【机器学习-斯坦福】学习笔记4 ——牛顿方法;指数分布族; 广义线性模型(GLM)
- 斯坦福《机器学习》Lesson4感想-------2、广义线性模型
- opengl中0x10000的由来
- android ListView详解
- UVA - 12123 Magnetic Train Tracks
- 关于使用Eclipse调试Launcher的完美解决方法
- ubuntu下Android源代码模块编译
- 斯坦福大学机器学习——广义线性模型
- PNG图片分层,模拟时钟!
- Designing for Performance
- Texmacs帮助支持字体网站(欢迎页面)
- 使用awk进行logcat过滤
- (b3 << 24) >>> 8细节
- GL_FIXED、GL_FLOAT
- 域名抢注
- ffmpeg的编译大全