Deep Learning 读书笔记(十三):Improving Word Representations via Global Context and Multiple Word Prototype
来源:互联网 发布:男士泳衣 知乎 编辑:程序博客网 时间:2024/05/17 23:08
词向量的表示不仅是作为算法的输入还是作为单词的一种特征表示在自然语言处理的相关问题中都被证明是有效的。然而传统的词向量模型是建立在局部的文本之上的,全部的文本往往能够提供更加丰富的信息。而且每一个单词,只有唯一的一种表示,这对于处理多义词来说存在着问题。这篇文章就是针对这两个问题提出了一种新的模型,希望结合局部和全局的语义信息来学习到更好的词向量的表示,同时针对同音多义词和一词多义的情况,为每个单词建立多种词向量的表示。
这篇文章的目的就是要学习到一个好的词向量,而不是要给定前几个词来预测下一个词的概率。所以就可以利用整篇文档来提供全局的信息。所利用的局部信息是给定一个单词序列去猜测下一个出现的单词。而全局的信息则是猜测包含单词序列的文档。这篇文章的方法恰是将两者结合起来。给定一个单词序列s,和包含该序列的文档d,目标是预测序列的最后一个单词。需要计算两个指标g(s,d)和,表示s中的最后一个单词用词典中的其他单词代替,可以使用一个神经网络来表示。为了体现出预测是准确的,希望两个评价标准之间的距离大于1,。则模型的目标函数为:
由于需要获取局部和全局的信息,就需要有两个神经网络来分别计算,网络的具体结构如下:
其中模型的输入均为单词的词向量。在对文档中的单词进行加权平均时,所使用的方法是:,使用idf作为单词的权值。在获取全局信息时,其实可以不输入整篇文档,只取一个固定的输入大小k,这个值要比单词序列的长度要大。
在训练时,获取目标函数的梯度的方式是:“choose a word from the dictionary as a corrupt example for each sequence-document pair, (s,d), and take derivative of the ranking loss with respect to the parameters.” 通过mini-batch L-BFGS 算法来实现模型参数的更新,这里的参数包括了网络中的连接权值和词向量矩阵。
文章中提出的计算每个单词不同表示的具体方法如下:首先以一个固定大小的窗口收集某一个单词的上下文信息(文章中窗口大小的取值是5)。然后使用idf系数作为权值对上下文的单词对应的词向量进行加权平均。随后使用spherical k-means 算法对之前的结果进行聚类,该聚类方法已被证明是能够较好地获取语义之间的联系。最后对每一个聚类中的单词计算其对于该聚类簇的词向量。
- Deep Learning 读书笔记(十三):Improving Word Representations via Global Context and Multiple Word Prototype
- 论文读书笔记-improving word representations via global context and multiple word prototypes
- Improving Word Representations via Global Context and Multiple Word Prototypes(2012ACL)
- Improving Word Representations via Global Context and MultipleWord Prototypes
- 论文读书笔记-主题-word representations learning & Evaluation
- Deep Learning, NLP, and Representations
- 【Deep Learning学习笔记】Efficient Estimation of Word Representations in Vector Space_google2013
- 【Deep Learning学习笔记】Efficient Estimation of Word Representations in Vector Space_google2013
- 【Deep Learning学习笔记】Efficient Estimation of Word Representations in Vector Space_google2013 标题:Effic
- 【转载】Deep Learning, NLP, and Representations
- Word representations: A simple and general method for semi-supervised learning
- Deep Learning读书笔记(六):Improving neural networks by preventing co-adaptation of feature detectors
- 【deep learning学习笔记】Distributed Representations of Sentences and Documents
- 深度学习,自然语言处理,表达Deep Learning, NLP, and Representations
- Deep Image Retrieval: Learning global representations for image search. In ECCV, 2016.
- 读书笔记--Neural Networks and Deep Learning(CH0)
- 读书笔记--Neural Networks and Deep Learning(CH1)
- Visualizing Representations: Deep Learning and Human Beings 简单翻译(数据可视化:深度学习和人类)(未完)
- 题目1519:合并两个排序的链表
- (五十二)触摸事件初步
- android 模拟器ko:failed to initialize KVM
- 一步一步理解线段树
- hdu-1160:FatMouse's Speed
- Deep Learning 读书笔记(十三):Improving Word Representations via Global Context and Multiple Word Prototype
- HDU 1542 & POJ 1151 Atlantis【线段树扫描线】
- Codeforces Round #291 Div2
- Windows核心编程001-错误处理
- 设计模式--迭代器模式与组合方法模式
- HDU-武林-模拟
- 【总结】伤寒杂病论Spring经验总结
- JavaBean作用域及测试
- poj 3111 二分求最大化平均值