规则和统计(下)
来源:互联网 发布:bj单身日记 知乎 编辑:程序博客网 时间:2024/06/06 13:59
1988年,IBM的彼得·布朗等人提出了基于统计的机器翻译方法,框架是对的,但是效果很差,因为当时没有足够的统计数据,也没有足够强的模型来解决不同语言语序颠倒的问题。在很长一段时间里,传统方法支持者攻击对方的武器就是,基于统计的方法只能处理浅层的nlp问题,无法进行深层次的研究。
从20世纪80年代末到现在,随着计算能力提高和数据量的爆发,过去看似不可能通过统计模型完成的任务,渐渐变得可能了。到20世纪90年代末期,大家发现通过统计得到的句法规则甚至比语言学家总结的更有说服力。2005年以后,随着Google基于统计方法翻译系统全面超过基于规则方法的SysTran翻译,基于规则学派固守的最后一个堡垒被拔掉了。nlp的应用在过去30年里也发生了巨大的变化,比如对自动问答的需求在很大程度上被网页搜索和数据挖掘替代了。而新的应用越来越依靠数据的作用和浅层的nlp的工作,这在客观上大大加速了nlp研究从基于规则的方法到基于统计的方法的转变。今天,几乎不再有科学家自称是传统的基于规则方法的捍卫者。而nlp的研究也从单纯的句法分析和语义理解,变成了非常贴近实际应用的机器翻译、语言识别、数据挖掘和知识的获取等。
基于统计的nlp方法,在数学模型上和通信是相通的,甚至就是相同的。因此,在数学意义上nlp又和语言的初衷—通信联系在一起了。可惜科学家花了几十年才认识到这个联系。
0 0
- 规则和统计(下)
- 规则和统计(上)
- 关于中文分词的统计和规则
- 一种规则和统计相结合的分词算法
- 一种规则和统计相结合的分词算法
- 基于规则和基于统计的区别、方法简介
- win7下的防火墙入站规则和出站规则
- GitHub contributions 统计规则
- VBA 统计文件(规则:'\'以后的文件名)
- VBA 统计文件(规则:A包含B)
- 高密度环境下行人检测和统计
- java实现一定规则下的时间段或单元数统计
- 统计语言模型(下)
- 报废统计报表的规则
- 统计图表可视化适用规则
- 设置伪静态规则在IIS和Apache下的区别(详解)
- GA/百度统计/Piwik:网站分析工具的Cookie设置和访次切分规则
- 基于规则经验主义和基于统计的自然语言处理方法的比较
- linux命令指南之四
- Unity自定义创建脚本模板菜单
- How Many Answers Are Wrong HDU
- 内核module加载顺序
- 个人模板 最长公共子序列
- 规则和统计(下)
- mysql的默认端口、索引类型
- FEP
- [Java]自定义Jar库,Http简单的Get和Post请求封装
- codeforces Round 411 div2 A
- 统计语言模型(上)
- imge stitching图像拼接stitching
- 74套安卓开发项目链接
- 时间序列分析---基本概念