利用词间语义先验关系提升词嵌入表示

文献：Yu M, Dredze M. Improving Lexical Embeddings with Semantic Knowledge[C]. ACL 2014: 545-550.

思想

提出关系受限RCM模型，利用词间语义先验关系提升词嵌入表示。

Relation Constrained Model（RCM）

定义关系R,比如语义相似度小于某个指定阈值的词序偶<wi,wj>集合,进而可定义类似CBOW模型的目标函数如下：
QRCM=1|V|∑i=1|V|∑w∈Rwilogp(wi|w)

RCM与CBOW相结合的混合模型

由于CBOW模型的目标函数为QCBOW=1|V|∑t=1|V|logp(wt|wt+ct−c)，故有混合目标函数Qjoint=QCBOW+λQRCM.

对比QRCM与QCBOW可知，二者差异是：与目标词进行比较的相关词不同，一个是具有先验语义相关性的词集合，一个是序列位置上下文。