吴恩达机器学习笔记——softmax回归概率模型推导
来源:互联网 发布:中介管理系统源码 编辑:程序博客网 时间:2024/06/05 07:34
此文章解释指数分布族,广义重点内容线性模型,以及softmax回归的概率解释推导。
1.指数分布族
指数分布族即为指数形式的概率分布:
其中,T(y)为充分统计量,tau为自然参数。
大多数的概率分布都可以转化为指数分布模型,下文会有例子。
2.广义线性模型
广义线性模型通过指数分布族来引出。
广义线性模型有三个假设:
(1) y|x;θ ExponentialFamily(η);给定样本x与参数θ,样本分类y 服从指数分布族中的某个分布;(2) 给定一个 x,我们需要的目标函数为hθ(x)=E[T(y)|x];
(3)η=θTx。
3.softmax概率模型推导
逻辑回归用于对事情进行多分类,则可以用多项式分布来进行建模。
与逻辑回归不同的是,因为想让多项式成为指数分布族,此时的T(y)不等于Y,而为向量了。其中I为指示函数。如果有大神知道如何用梯度下降对此cost_function进行优化,请私聊下我哈,现在也很纳闷。
公式推导如下图所示:
0 0
- 吴恩达机器学习笔记——softmax回归概率模型推导
- 吴恩达机器学习笔记——指数分布族&广义线性模型&逻辑回归概率模型推导
- 机器学习——线性模型之softmax回归
- 公开课机器学习笔记(7)Softmax回归模型
- 机器学习笔记——逻辑回归模型及其代价函数推导
- 【机器学习】Softmax推导
- (斯坦福机器学习课程笔记)用广义线性模型推导softmax
- 机器学习----Softmax回归
- 机器学习:Softmax回归
- (斯坦福机器学习课程笔记)用广义线性模型推导逻辑回归模型
- 机器学习算法之一-logistic回归、softmax模型
- 机器学习笔记——概率生成模型
- 机器学习之Softmax回归
- 机器学习之softmax回归
- 【机器学习】逻辑回归(Linear Regression)模型推导
- 机器学习--logistic回归和softmax回归
- # 机器学习笔记2——参数学习、非参数学习、局部加权线性回归、线性回归的概率解释、logistics回归
- 概率图模型笔记-周志华《机器学习》
- 解决Could not open Hibernate Session for transaction; nested exception is java.lang.NoClassDefFoundEr
- VS中配置opencv,使用imshow方法出现窗口名称乱码解决方案
- C++之静态数据成员与静态成员函数
- OkHttp 执行流程与为什么Callback在子线程中执行
- MySQL查询近一个月的数据
- 吴恩达机器学习笔记——softmax回归概率模型推导
- JavaScript模板引擎原理
- [构造 二分图] SRM 693 div1 BipartiteConstruction
- LeetCode之Number Complement
- Python——基础总结
- 无限“递归”的python程序
- 蓝桥杯带分数
- 排序算法(一)
- MySQL按照月进行统计