数学之美:自然语言处理-从规则到统计
来源:互联网 发布:日本捕鲸 知乎 编辑:程序博客网 时间:2024/05/26 05:52
前言
系列文章:[传送门]
看着吴军博士的这本书,本来对数学很感兴趣的我。为了学英语,就在那书提到的《从一到无穷大》买了中英两本(中文使用天猫积分,哈哈)。
正文
如图
语言的出现是为了人与人之间的通信。任何一种语言都是一种编码方式,而语法规则是编解码的算法。其数学本质:ta可以用某种语言解码方式得到另一个ta的表达意思。
现在,大家用的很多的。搜狗输入法的语音识别,苹果的siri等。都象征着,计算机能处理自然语言,处理语言的方式和人类的一样。
机器智能(规则)
图灵测试:是一种来验证机器是否能有智能的方法:让人和机器进行交流,如果无法判断自己交流是人还是机器,那就说明机器是智能。
就想学英语一样,语法,名词(n.),动词(v.)...很多实在的规则摆在我们面前,就想固定住的是的。人们思维也觉得合情合理,这不是天然的一种数据结构。多好的规则,多好的结构,可以让算法来描述。
这貌似计算机可以实现?
但事实摆在眼前,
"The pen is in the box " "The box is in the pen"
钢笔在盒子里 盒子在围栏里
如果运用规则处理的话,这两句话就是典型的问题。计算机无法判断,如果有人说
if
#我说的只是一个例子,这种例子在一种数量级上的,所以if失败
但自然语言的处理,并非是靠计算机理解力自然语言而完成的。事实上,靠的是数学中的统计。进而出现了统计语言学,进而才有了今天的我们手中的siri。
从规则到统计
统计,统计语言学。最近,学校里安排了概率论。原来概率在这块领域作用很大,问下老师一些问题。心态豁然开阔。就是统计语言模型里面涉及(下篇博客出)。关于此方面的书,我针对的去看,豆瓣会更新:http://book.douban.com/doulist/3909716/
例子
我爱美丽的花
数学
p(我想要的)=p(W,Q,E,R)
然后可用,概率哦(下篇博客出),我们仔细讨论这个问题。
总结
就这样,基于统计的自然语言处理方法(统计语言模型),用数学把复杂的问题简单化。
感谢及资源共享
路上走来一步一个脚印,希望大家和我一起。
感谢读者!很喜欢你们给我的支持。如果支持,点个赞。
知识来源: 《数学之美》
- 数学之美:自然语言处理-从规则到统计
- 数学之美 第2章 自然语言处理-从规则到统计
- 《数学之美》 第二章 自然语言处理——从规则到统计
- 自然语言处理--从规则到统计
- 自然语言处理-从规则到统计
- 自然语言处理-统计语言模型(数学之美)
- 《数学之美》中的自然语言处理
- 统计自然语言处理 之 数学基础
- 统计自然语言处理 之 数学基础
- 统计自然语言处理基础-笔记-数学基础
- 数学之美(系列十五) 之 繁与简 自然语言处理的几位精英
- 数学之美(系列二十) 之 自然语言处理的教父 马库斯
- 数学之美 系列十五 繁与简 自然语言处理的几位精英
- 数学之美 系列十五 繁与简 自然语言处理的几位精英
- 数学之美 系列十五 繁与简 自然语言处理的几位精英
- 数学之美 系列十五 繁与简 自然语言处理的几位精英
- 数学之美 系列十五 繁与简 自然语言处理的几位精英(转载)
- 数学之美系列十五:繁与简 自然语言处理的几位精英
- android开发从零开始1
- 句柄知识
- Java线程死锁的概念
- Java线程通信
- 线程的中断阻塞与控制
- 数学之美:自然语言处理-从规则到统计
- Java线程组与线程未捕获的异常
- MySQL 分类取前N条 sql 写法
- 面试-cookie和session的区别
- Python学习笔记之20140406
- 基于样例的图像修复算法的几种加速手段
- Java线程ThreadLocal
- Weblogic学习笔记-Weblogic 域(Domain)(三)
- 面试-HTTP协议详解