广义线性模型与指数分布族
来源:互联网 发布:fluent分析软件 编辑:程序博客网 时间:2024/06/08 07:55
在机器学习领域,很多模型都是属于广义线性模型(Generalized Linear Model,GLM),如线性回归,逻辑回归,Softmax回归等。这篇文章广义线性模型,并由它推导出线性回归,逻辑回归,Softmax回归的表达式。
广义线性模型是基于指数分布族的,所以我们先来看一下指数分布族的一般形式:
其中,
证明高斯分布属于指数分布族:
因为方差
因此:
由以上分析,我们可以得到结论:高斯分布属于指数分布族的一类。
证明伯努利分布属于指数分布族:
因此:
由以上分析,我们可以得到结论:伯努利分布属于指数分布族的一类。
同时,由
为了推导广义线性模型,我们先做以下三个假设:
1. 给定
2.
3. 自然参数
个人总结:若模型的分布属于指数分布族,那么该模型可以由广义线性模型推导出来。
由广义线性模型推导出线性回归:
我们知道,在线性回归中,
其中,第一个等式由假设2得到,第二个等式是高斯分布的数学期望,第三个等式由假设1得到,即由高斯分布属于指数分布族推导出来,第四个等式由假设3得到。
由广义线性模型推导出逻辑回归:
我们知道,在逻辑回归中,
其中,第一个等式由假设2得到,第二个等式是高斯分布的数学期望,第三个等式是我们的定义,第四个等式由假设1得到,即由伯努利分布属于指数分布族推导出来,第五个等式由假设3得到。
由广义线性模型推导出多项式回归:
Softmax回归本质上是一个多分类问题。假设输出
我们对多项式回归输出的k个可能值参数化:
我们定义
我们可以看到,
为了方便表示,我们使用
多项式分布:
因此:
由以上分析可得到,多项式分布属于指数分布族的一类。
而且,对于类别i,有
预测输出值
输出值为每个类别的概率,且
接下来,我们开看一下参数的优化:
对数似然函数:
对类别l的参数求导:
注意:
最后,我们的预测输出值的表达式如下:
取
值得注意的是,softmax函数存在参数冗余的问题,因此优化得到的最优参数不是唯一的。我自己在搭建卷积神经网络,使用softmax函数时就出现这个问题,导致得不到想要的结果。解决方法是在损失函数处添加权重衰减项。(具体的我就不自己写了,码了这么多公式实在不想再写了。当一回伸手党,直接贴图。有兴趣的同学可以到 Softmax回归查看详细内容)
- 广义线性模型与指数分布族
- 指数分布族 和 广义线性模型
- 牛顿方法,指数分布族,广义线性模型
- 指数分布族和广义线性模型
- 指数分布族(The Exponential Family)与广义线性模型(GLM,Generalized Linear Models)
- 从指数分布族去推导出广义线性模型
- 吴恩达机器学习笔记——指数分布族&广义线性模型&逻辑回归概率模型推导
- 牛顿方法、指数分布族、广义线性模型—斯坦福ML公开课笔记4
- 牛顿方法、指数分布族、广义线性模型—斯坦福ML公开课笔记4
- 牛顿方法、指数分布族、广义线性模型—斯坦福ML公开课笔记4
- 牛顿方法、指数分布族、广义线性模型—斯坦福ML公开课笔记4
- 第4节-牛顿方法、指数分布族和广义线性模型
- 机器学习笔记—指数分布簇和广义线性模型
- 指数分布族(The Exponential Family)与广义线性回归(Generalized Linear Model GLM)
- 牛顿方法、指数分布族、广义线性模型、多项式分布——斯坦福ML公开课笔记4
- 【机器学习-斯坦福】学习笔记4 ——牛顿方法;指数分布族; 广义线性模型(GLM)
- 广义线性模型与Logistic回归
- 指数族分布和广义线性模型
- JS作用域
- java实现二分查找
- Codeforces Round #433 Div. 2 A. Fraction
- 远程调试ambari-metrics的方法
- Java标识符小陷阱
- 广义线性模型与指数分布族
- tomcat能正常启动,但是http://localhost:8080/网页就是打不开,报404
- Linux Ubuntu 使用play命令播放音乐 mp3 wav 等文件
- 《python编程快速上手》学习笔记-----口令保管箱
- secureCRT-多个终端上同时执行同个命令
- leetcode 139. Word Break DP + DFS按照index递归搜索
- Two question about Divide and Conquer
- C语言小问题之——结构体定义
- C3P0-数据库连接池解读