广义线性模型
来源:互联网 发布:方便面怎么煮好吃知乎 编辑:程序博客网 时间:2024/06/05 17:28
广义线性模型(Generalized Linear Model)
本文沿接接着上节的指数分布族,文章中注了引入指数分布族的概念是为了说明广义线性模型。
概念
广义线性模型(generalized linear model, GLM)是简单最小二乘回归(OLS)的扩展,在广义线性模式中,假设每个变量的观测值 Y来自某个指数族分布。 该分布的平均数
其中E(y)为y的期望值,
在此模式下,y的方差V可表示为:
一般假设V可视为一指数族随机变数的函数。
未知参数
例证
参考此例:
通过此例,我们可以推想,
假设条件
下面我们看看GLM的形式话定义,GLM的三个假设:
1)
2)给定一个x,我们需要的目标函数为
3)
上例推导
依据三个假设,我们可以推导出logistic模型与最小二乘模型。Logistic模型的推导过程如下:
hθ(x)=E[T(y)|x]=E[y|x]=μ=η=θTx
其中,将
所以,对于广义线性模型,需要决策的是选用什么样的分布,当选取高斯分布时,我们可以得到最小二乘模型,当选取伯努利分布时,我们得到logistic模型,这里所说的模型是假设函数h的形式。
同样,可以将Logistic函数做拉伸变换,可以得到新的连接函数
φ=11+e−λη
总结
总计来说,广义线性模型通过假设一个概率分布函数,得到不同的模型,二支起拿讨论的梯度下降法、牛顿法都是为了求取线性模型中的线性部分
参考链接:
[1].https://zh.wikipedia.org/wiki/%E5%BB%A3%E7%BE%A9%E7%B7%9A%E6%80%A7%E6%A8%A1%E5%9E%8B
[2].http://blog.csdn.net/stdcoutzyx/article/details/9207047
- 广义线性模型
- 广义线性模型1
- 广义线性模型2
- 广义线性模型
- 广义的线性模型
- 广义线性模型3
- 广义线性模型
- 广义线性模型
- 广义线性模型
- 1.1 广义线性模型
- 广义线性模型4
- 广义线性模型分类
- 广义线性模型
- 1.广义线性模型
- 广义线性模型
- 广义线性模型GLM
- 广义线性模型
- 广义线性模型
- 栈与堆
- 【备份】零碎知识点图片
- “以人为本”谋创新 三星手机卓越品质赢得市场与口碑
- 选夫婿1(结构体)
- K上升序列总和
- 广义线性模型
- 自己动手搭梯子——从vps到SSR菜鸟教程
- 278. First Bad Version
- POJ 2125 Destroying The Graph 二分图 最小点权覆盖
- Python else语句
- 入门训练 Fibonacci数列
- 【详解】嵌入式开发中固件的烧录方式
- java输入输出(二)
- 内核链