[ACL2015]Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks

来源:互联网 发布:淘宝缩水女 编辑:程序博客网 时间:2024/06/05 07:34

短语和句子的分布式表示model目前分为三类:(1) bag-of-words models: 不依赖与词序(2) sequence models :词序敏感 (3) tree-structured models:根据句法树构建句子表示

与standard LSTM 相比, Tree-LSTM 有以下这行特性:
(1)Tree-LSTM 可能依赖多个子节点
(2)forget gate 可能有多个,与子节点的个数有关

本文给出两种tree-LSTM :
(1) Child-Sum Tree-LSTMs
(2) N-ary Tree-LSTMs

tree-LSTM的两个应用:
(1)classification

这里写图片描述

hj 就是利用tree-LSTM计算出的node j 的embedding

(2) Semantic relatedness of Sentence Pairs
这里写图片描述

hL 和 hR 是利用Tree-LSTM对两个句子的embedding representations, 经过上面一系列公式的操作比较两个句子的senmantic relatedness

阅读全文
0 0