NLP中的语言模型(language model)
来源:互联网 发布:sql 字段去重复查询 编辑:程序博客网 时间:2024/06/05 13:27
什么是语言模型
本文参考维基百科语言模型 language model
统计语言模型是一个单词序列上的概率分布,对于一个给定长度为m的序列,它可以为整个序列产生一个概率
目前在自然语言处理相关应用非常广泛,如语音识别(speech recognition) , 机器翻译(machine translation), 词性标注(part-of-speech tagging), 句法分析(parsing)等。传统方法主要是基于统计学模型,最近几年基于神经网络的语言模型也越来越成熟。
Unigram models
Unigram models也即一元文法模型,它是一种上下文无关模型。该模型仅仅考虑当前词本身出现的概率,而不考虑当前词的上下文环境。概率形式为
以一篇文档为例,每个单词的概率只取决于该单词本身在文档中的概率,而文档中所有词出现的概率和为1,每个词的概率可以用该词在文档中出现的频率来表示,如下表中
对于这篇文档中,所有概率和相加为1,即
n-gram models
n-gram models也即n元语言模型,针对一个句子
Neural language models
神经语言模型使用连续表示或词汇Embedding来进行预测。 已神经网络为基础来训练模型。
这里未完待续。。。
阅读全文
0 0
- NLP中的语言模型(language model)
- 语言模型(Language model)
- Statistical language model 统计语言模型
- Statistical language model 统计语言模型
- NLP | 自然语言处理 - 语言模型(Language Modeling)
- stanford nlp第四课“语言模型(Language Modeling)”
- NLP、language model、lstm、attention model
- NLP:language model(n-gram/Word2Vec/Glove)
- 笔记:语言模型(Language Model)(一)
- NLP语言模型
- NLP中的语言模型及文本特征提取算法
- [NLP论文阅读]A Neural Knowledge Language Model(一)
- NLP论文研读之路:A Neural Probabilistic Language Model
- 语言模型 Language Modeling
- NLP第一课--语言模型
- 深度学习-->NLP-->语言模型
- 【复杂网络系列】图模型语言(graph model language)gml格式文件生成代码
- 【Natural Language Processing】语言模型(Language Modeling)
- cors跨域
- 基于STM32的开发板调试Review
- Json语法规则
- mysql之PXC5.7.18集群系列——3.xtrabackup
- Hanoi Tower Troubles Again! ZOJ
- NLP中的语言模型(language model)
- 兰州银行扫码取款1天被叫停,金融创新需要合规
- Web漏扫工具一览表
- unicode转中文
- bitmap总结
- 检测浏览器,平台,系统js
- 乌鲁木齐网赛I-island-tarjan
- Laravel 5.5快速搭建博客api系统-1
- UVAlive 3602 DNA序列(计数+瞎搞)