《Parameter estimation for text analysis》阅读笔记
来源:互联网 发布:服务器域名怎么看 编辑:程序博客网 时间:2024/05/23 19:17
《Parameter estimation for text analysis》阅读笔记
参数估计方法
面临两种推理问题:(1)评估可以最好解释一组观测值
- 极大似然估计(MLE)
找到最大化概率的参数:L(ϑ|X)=p(X|ϑ)=Πx∈Xp(x|ϑ) 。 - 最大后验估计(MAP)
最大化参数的后验概率:ϑ^MAP=argmaxϑp(ϑ|X) - 贝叶斯推理
贝叶斯推理扩展了MAP方法,允许参数集ϑ 上的一个分布,而不是直接估计。
共轭分布
一个共轭先验
贝叶斯网络和生成过程
贝叶斯网络(BNs)是一个正式的图语言,在随机变量和有向图中它们在条件依赖性方面表达系统或现象的共同分布。BNs是图模型的一个特例,机器学习的一个重要方法,也包含无向图模型(马尔科夫随机场)和混合模型。一个贝叶斯网络形成一个有向无环图(DAG),点对应随机变量,边对应条件随机分布,边起点的条件变量叫父节点,边终点的依赖变量叫孩子节点。贝叶斯网络间区分证据节点和隐藏节点。证据节点对应观察或假定观察变量,隐藏节点对应潜在变量。许多模型中,存在共享父节点或孩子节点的节点重复来代表多变量或混合成分。这样的重复可以通过板块表示,围绕节点子集,右下角有一个重复数或变量集合描述。
潜在狄利克雷分布(LDA)
LDA是一个概率产生模型,通过非监督学习可以用于估计多项式观测值的属性。至于文本建模,LDA是进行所谓的隐性语义分析(LSA)的方法。LSA背后的直观思想是找到文本语料话题或概念的潜在结构,获取被词汇选择噪声掩盖的文本含义。LDA是一个混合模型,它使用一组成分分布的凸组合建模观测值。凸组合是加权和,权重系数和为1。LDA中,单词w从一个话题z的凸组合产生。
Gibbs采样是马尔科夫链蒙特卡罗法(MCMC)模拟的一个特例,在高维模型如LDA经常产生近似推理的相对简单算法。MCMC方法通过马尔科夫链的静态行为可以模拟高维概率分布
积分掉一些参数来进行模型推理的策略常常被称为“collapsed”。
Gibbs采样算法:(1)选择维度i(随机或者通过置换);(2)从
狄利克雷超参在多项式分布中通常存在平滑效应。通过降低
查询
主题模型提供了至少两个方法来检索与查询文档相似的文档:(1)通过文档参数的相似度分析;(2)通过预测的文档概率。两个方法依赖于查询文档的主题评估。
- 《Parameter estimation for text analysis》阅读笔记
- parameter estimation for text analysis
- LDA学习笔记---来自《Parameter estimation for text analysis》
- Reading Note : Parameter estimation for text analysis
- “Parameter estimation for text analysis ”翻译
- 《Deeply-Learned Feature for Age Estimation》论文阅读笔记
- 《Deep Label Distrubution Learning for Appearent Age Estimation》阅读笔记
- pLSA与LDA中的parameter estimation笔记
- Binarized Normed Gradients for Objectness Estimation at 300fps阅读笔记
- Recurrent Convolutional Neural Networks for Text Classification阅读笔记
- 论文阅读:Poselet-Based Contextual Rescoring for Human Pose Estimation
- 论文阅读:Structured Feature Learning for Pose Estimation
- 阅读小结:Stacked Hourglass Networks for Human Pose Estimation
- 论文阅读:《Structured Feature Learning for Pose Estimation》CVPR 2016
- Python For Data Analysis笔记
- text mining and analysis 学习笔记week1
- 【一幅图解释EM算法】Parameter estimation for complete and incomplete data
- Parameter Estimation (Chapter 4)[@XiruChen]
- 在PHP中调用接口
- Java ---序列化性能比较
- 修改Myeclipse创建JSP默认编码格式
- matlab中二维小波变换部分函数
- 设计模式之--单例模式
- 《Parameter estimation for text analysis》阅读笔记
- logstash使用grok正则解析日志
- python,用django开始第一个网页
- APP在Android5.0上运行时闪退
- 【ValueError: math domain error】
- Mongodb存储过程使用
- 关于在平台中设置系统全局变量的使用和场景
- java获取某个字符在一个字符串中出现的下标(从0开始)
- spring中xml标签加载解析的一般过程