语言模型如何评估
来源:互联网 发布:sql server 连接 编辑:程序博客网 时间:2024/05/18 21:49
语言模型的性能通常用交叉熵和复杂度(perplexity)来衡量。交叉熵的意义是用该模型对文本识别的难度,或者从压缩的角度来看,每个词平均要用几个位来编码。复杂度的意义是用该模型表示这一文本平均的分支数,其倒数可视为每个词的平均概率。平滑是指对没观察到的N元组合赋予一个概率值,以保证词序列总能通过语言模型得到一个概率值。通常使用的平滑技术有图灵估计、删除插值平滑、Katz平滑和Kneser-Ney平滑。
歧义问题的描述和消除问题是制约计算语言学发展的瓶颈问题.将交叉熵引入计算语言学消岐领域.采用语句的真实语义作为交叉熵的训练集的先验信息,将机器翻译的语义作为测试集后验信息。计算两者的交叉熵,并以交叉熵指导对歧义的辨识和消除.实例表明,该方法简洁有效.易于计算机白适应实现.交叉熵不失为计算语言学消岐的一种较为有效的工具.
0 0
- 语言模型如何评估
- 如何评估模型好坏
- 语言模型的评估-Perplexity
- R语言之模型评估
- 语言模型(二) 评估和类别
- 深度学习:语言模型的评估标准
- 如何建立和评估数据仓库逻辑模型
- 如何设计玩家体验评估模型
- 如何评估模型的预测性能?
- 构建语言模型(二):模型训练与评估
- 模型评估
- 模型评估
- 模型评估
- 模型评估
- 测试计划评估模型
- 模型的评估
- 模型评估&AUC
- stat_模型评估方法
- OC 字符串操作
- Maven学习总结(2)—-使用Maven构建多模块项目
- Oracle接口开发之PL/SQL Gateway
- Asp清除html中style,javascript,css代码
- Android如何避免OOM总结
- 语言模型如何评估
- Vertex Attributes - 官网上的文章
- SQL中存储过程和自定义函数的区别
- python getattr获取对象属性
- 3分钟教会你用excel做多层饼图
- 简单实现MFC ListControl 点击列头排序
- 【Loadrunner】LR中监控ORACLE数据库常用计数器(如何自定义Oracle计数器)
- 短信开发(华为软件包)
- 黑马程序员—Java基础—IO流—字符流