【论文阅读】 计算语言学与深度学习

计算语言学与深度学习  

作者是语言学家：  克里斯托弗·D·曼宁   （Christopher D.Manning)

有时候文章读后不写点笔记感觉跟没读一样，所以以后读完论文以后觉得有收获的点都记下来吧。

深度学习与机器学习大牛们的观点：

Yann LeCun :  深度学习的下一个重要目标是自然语言的理解，这将让机器不只具有理解单个字词的能力，还将具备理解句子与段落的能力。

Geoffrey Hinton :  我认为接下来的五年里最激动人心的领域是真正理解文本和视频，如果这五年里我们无法让机器自动浏览YouTube视频并能够讲述视频中发生的事情，那么我会非常失望。

Michael Jordan : 理智地看，我认为自然语言处理非常迷人，让我们得以集中研究高度结构化的推理问题，研究那些通过向“什么是思想"的核心又还具有重要实际意义的课题，以及研究无疑会让世界变成更美好地方的技术。

题外话：  种草书籍：  Hitchhiker's Guide to the Galaxy   【银河系漫游指南】

计算语言学相对于深度学习研究的侧重：

Universal Dependencies (通用依赖关系） ：  旨在研制一个能够用于所有人类语言的通用依存句法表示、词性标注、和特征标签集合，并希望具有可接受的正确率与易用性

Abstract meaning representation（抽象语义表示）

语言的深度学习：

自然语言处理取得的主要提升并非来自真正的深度学习（即采用层次结构的抽象表示来提高泛化能力），而是更多地来自分布式的词表示，即对语言和概念采用实数向量表示。

Manning 提出了一些有趣的语言学与认知的问题，号召大家能够推进非范畴的表示与神经网络方法：

问题一： 语法范畴存在着连续性，从而使不同类别之间的边界不那么明显。

乔姆斯基提出的4种核心范畴：形容词、动词、名词、介词，但语言中非范畴的现象大量存在，V-ing的形式本来通常介于动词与名词之间，但事实上情况更加复杂，V-ing可以用在四种范畴中，如：

                                                          

相关的研究参考：

[10] Ross, John R. 1972. The category squish: Endstation Hauptwort .In Papers from the Eighth Regional Meeting    范畴挤压

问题二： 研究语言演化的问题

词的分布式表示可以捕捉语义的演变规律，从而可以有效地对语言演化进行建模。文章中举了一些比较有趣的语言学现象，如 deer 在古代英语中指代所有动物，而在中古到现代的英语中却用来指代某一类动物；Dog 与 Hound 的意义发生了交换。下图展示了cell的含义是如何从接近 closet 和 dungeon 迅速转换到接近 phone 和 cordless的。

                                                   

相关的文献：

[1]  Tabor, Whi tney. 1994. Syntact ic Innovat ion: A Connectionist Model. Ph.D. thesis, Stanford

[2]   Kim, Yoon, Yi-I Chiu, Kentaro Hanaki, Darshan Hegde, and Slav Petrov. 2014. Temporal analysis of language through neural language models. 

研究人员：   戴夫·鲁梅尔哈特和杰伊·麦克利兰(Jay Mc- Clelland)， 从圣迭戈(San Diego)的并行分布式处理 研究组(the Parallel Distributed Processing Research Group)开始，他们就致力于对神经网络进行更科学 的和认知层面的研究。

关于神经网络是否足以应对由规则支配的语言行为的争论，关键词： Steve-Pinker 、 Paul Smolensky

[1]  ] Smolensky, Paul and Géraldine Legendre. 2006.   The harmonic Mind : From Neural Computation to Optimality-theoretic Grammer

Manning 倡导  最好将自然语言处理重点问题回到自然语言处理的认知和科学研究，而非停留在几乎完全使用某种工程模型的研究上。