最大熵模的理解与最大熵模型逻辑回归相似转换条件
来源:互联网 发布:sql server distinct 编辑:程序博客网 时间:2024/06/08 00:24
没错,一般说的“特征”都是指输入的特征,而最大熵模型中的“特征”指的是输入和输出共同的特征。
最大熵模型中的每个特征会有一个权重,你可以把它理解成这个特征所描述的输入和输出有多么倾向于同时出现。
可以以多类logistic regression为例,来感受一下两种视角的不同。
在一般的视角下,每条输入数据会被表示成一个n维向量,可以看成n个特征。而模型中每一类都有n个权重,与n个特征相乘后求和再经过softmax的结果,代表这条输入数据被分到这一类的概率。
在最大熵模型的视角下,每条输入的n个“特征”与k个类别共同组成了nk个特征,模型中有nk个权重,与特征一一对应。每个类别会触发nk个特征中的n个,这n个特征的加权和经过softmax,代表输入被分到各类的概率。
最大熵模型中的每个特征会有一个权重,你可以把它理解成这个特征所描述的输入和输出有多么倾向于同时出现。
可以以多类logistic regression为例,来感受一下两种视角的不同。
在一般的视角下,每条输入数据会被表示成一个n维向量,可以看成n个特征。而模型中每一类都有n个权重,与n个特征相乘后求和再经过softmax的结果,代表这条输入数据被分到这一类的概率。
在最大熵模型的视角下,每条输入的n个“特征”与k个类别共同组成了nk个特征,模型中有nk个权重,与特征一一对应。每个类别会触发nk个特征中的n个,这n个特征的加权和经过softmax,代表输入被分到各类的概率。
作者:王赟 Maigo
链接:https://www.zhihu.com/question/24094554/answer/108247115
来源:知乎
著作权归作者所有,转载请联系作者获得授权。
0 0
- 最大熵模的理解与最大熵模型逻辑回归相似转换条件
- 六、逻辑回归与最大熵模型
- 逻辑斯蒂回归模型与最大熵模型
- 逻辑斯谛回归与最大熵模型
- 逻辑斯谛回归与最大熵分类模型
- 逻辑斯谛回归与最大熵模型
- 机器学习笔记(6)-逻辑回归与最大熵模型
- 机器学习模型(二)最大熵模型与逻辑斯蒂回归模型
- 最大熵与逻辑回归的等价性
- 逻辑斯蒂回归2 -- 最大熵模型概念
- 统计学习-逻辑回归(LR)和最大熵模型
- 逻辑斯蒂回归,最大熵模型及其等价性
- 统计学习方法:逻辑斯蒂回归和最大熵模型
- Logistic回归与最大熵模型
- Logistic回归与最大熵模型
- 隐马尔可夫模型,最大熵模型,最大熵马尔可夫模型与条件随机场的比较
- 统计学习方法 李航---第6章 逻辑回归与最大熵模型
- 逻辑斯谛回归与最大熵模型-《统计学习方法》学习笔记
- 自写项目——实现tesseract-ocr功能_初步socket实现
- <第一行代码>笔记三
- css翻页效果
- HDU 2476 String painter (区间DP)
- Git与SourceTree使用详细指南
- 最大熵模的理解与最大熵模型逻辑回归相似转换条件
- UVA540Team Queue
- Tensorflow让神经网络自动创造音乐
- java i/o流(5) 字节流、字符流的操作
- HTML
- linux内核模块替换系统调用
- SVM支持向量机学习笔记 _ 1 数学基础
- Leetcode题解 168. Excel Sheet Column Title
- Protobuf简单例子