指数族和广义线性模型(The exponential family and Generalized Linear Models)
来源:互联网 发布:抽数字软件 编辑:程序博客网 时间:2024/06/06 02:51
指数族的概率密度形如:
对所有的θ:
所以:
当T(x) =x,A(θ)是h(x)的Laplace变换的log形式。
下面我们给出常见的概率分布:
之后,我们转向我们熟悉的形式:
η被称为natural parameter或者canonical parameter,T (y)被称为sufficient statistic(a statistic
is a function of data,通常有T (y) = y),a(η)被称为lognormalizer,保证密度函数的积分为1。
1.我们将Bernoulli分布写成指数族的形式:
其中:可推出φ=1/(1 +e^- η),η的形式与logistic函数一致,因为logistic回归的前置概率是伯努利(Bernoulli.)分布
然后
2.接下来再考虑高斯分布(Gaussian),由于高斯分布的方差与我们最后对θ和h(x)的选择无关,为了简便,将方差设为1。
然后有
其中
3.多项式分布(Multinomial.)
其中
与Bernoulli同样的操作:
其中
4.泊松分布(Poisson.)
泊松分布是一个离散的分布,
其中
5单变量高斯分布(UnivariateGaussian),这次是完整的形式:
其中
在指数族分布里,a(η)函数其实是一种生成函数(generating function),可以派生出:
同时:
在Bernoulli分布中,,可以导出
通过引入指数族,我们可以导出广义线性模型(下文简称为GLM),首先GLM有三个形式化的假设:
对高斯分布来说,我们有µ = η,所以
对Logistic Regression来说,我们研究的是一个二类分类,所以y ∈ {0, 1}。由于y的取值特点,我们自然而然选择Bernoulli分布,我们有
如果y|x; θ ∼ Bernoulli(φ),则E[y|x; θ] =φ,我们有
我们可以得到,一旦我们认为y|x服从Bernoulli分布,我们就会得到Logistic Regression。
Bernoulli的正则响应函数为logistic函数
对于
g是链接函数,令我们有
对于形如以下的指数族
均值和方差满足
又有
我们可以给出常见分布的正则链接:
- 指数族和广义线性模型(The exponential family and Generalized Linear Models)
- 指数分布族(The Exponential Family)与广义线性模型(GLM,Generalized Linear Models)
- 指数分布族(The Exponential Family)与广义线性回归(Generalized Linear Model GLM)
- 广义线性模型(Generalized Linear Models)
- 广义线性模型(Generalized Linear Models)
- 广义线性模型--Generalized Linear Models
- 1.1 Generalized Linear Models 广义线性模型
- Generalized Linear Models广义线性模型
- 广义线性模型(Generalized Linear Models, GLM)
- 广义线性模型(Generalized Linear Models, GLM)
- Machine Learning—Generalized Linear Models广义线性模型
- 广义线性模型(Generalized Linear Model)
- scikit-learn学习笔记(三)Generalized Linear Models ( 广义线性模型 )
- 通用线性模型(GLMs,Generalized Linear Models)
- 广义线性模型Generalized Linear Model (GLM)
- 机器学习笔记1_3:广义线性模型(GLM, Generalized Linear Models)
- 机器学习笔记——广义线性模型(Generalized Linear Models, GLM)
- 指数族Exponential Family
- 将真分数分解为埃及分数
- iptables禁止某个mac地址上网
- 白话经典算法系列之三 希尔排序的实现
- 三个数求最大数、最小数、中间数
- swap函數 进阶探讨与实现
- 指数族和广义线性模型(The exponential family and Generalized Linear Models)
- 《深入理解java虚拟机》自动装箱拆箱实例
- 学习使用iReport几点总结
- 数据结构题集(严蔚敏版)题目——第二章 线性表
- 黑马程序员——3、C语言(数组和指针)
- Probabilistic Context-Free Grammar
- HDU4882ZCC Loves Codefires(贪心)
- 蓝牙系列之android4.2:整体框架分析(a2dp socket/hfp socket)为例
- Google开源C++单元测试框架Google Test(gtest)在C++Builder(xe5)下的使用-1