面向语义对比分析的词嵌入

文献：Chen Z, Lin W, Chen Q, et al. Revisiting Word Embedding for Contrasting Meaning[C] ACL 2015: 106-115.

基本思想

现有的词嵌入模型都是建立在“分布式语义”的假设之上，即“具有相似上下文的词语具有相似语义”，而语义具有对比意义的不同词往往具有相似的上下文. 因而，这些模型难以胜任语义对比分析的任务。

框架

提出如下框架：

（1）Top Hidden Layer负责将词对比语义的各种嵌入表示（SCE、CRM、SDR）集成；
（2）Contrast Inference Layer 负责嵌入表示： CRM与SDR为现有方法，MCE为本文提出的方法。

对比语义嵌入表示方法SCE

启发于Hinton 提出的随机邻域嵌入(stochastic neighbor embedding, SNE)思想“原始空间与嵌入空间中，目标词的邻居分布大致相同”，本文提出SCE(stochastic constrasting embedding),SCE具有如下特征：

• 在原始空间与嵌入空间中the distribution of the contrasting “neighbors” to be close to the distribution of the “neighbors”

• 利用词典中的反义词学习constrasting neighbors

• 在原始空间与嵌入空间中, 词wk的具有对比语义邻居词语集与具有相似语义邻居词语集大致不变

词wk属于词wi的邻居的概率为：p(wk|wi)=exp(−d2i,k)∑|V|m≠iexp(−d2i,m)

(1)Marginal Contrasting Embedding

-子目标1：objs=∑(wi,wj)∈Smax{0,α−dir+dij}

-子目标2: obja=∑(wi,wk)∈Smax{0,β−dir+dik}

-综合目标: obj=(1−λ)∗objs+λ∗obja

目标1中的dij表示目标词wi与其同义词wj之间的距离，dir表示目标词wi与其随机无关词wr之间的距离；
目标2中的dij表示目标词wi与其反义词wk之间的距离，dir表示目标词wi与其随机无关词wr之间的距离.

（2）SDR（Semantic Differential Reconstruction）

运用点对互信息PMI(Pointwise Mutual Information)对每个词赋予3维语义：evaluative (good-bad), potency (strong-weak), activity(active-passive)，可分别用如下公式计算：

• eval(w)=PMI(w,eval+)−PMI(w,eval−)
• potency(w)=PMI(w,potency+)−PMI(w,potency−)

• activity(w)=PMI(w,activity+)−PMI(w,activity−)

  ∗−与∗+分别表示对应维度值的种子词。
  可以参阅Saif M. Mohammad, Bonnie J. Dorr, Graeme Hirst, and Peter D. Turney. 2013. Computing lexical contrast. Computational Linguistics, 39(3):555–590.