RankNet

---

RankNet 论文的笔记。原文：
Learning to rank using gradient descent.

模型

• 特征 xi∈ℝd
• 模型函数：f:ℝd→ℝ

若 f(xi)>f(xj) 则表示模型预测 i 排在 j 前面: xi▹xj。

后验概率 Pij=P(xi▹xj) 用如下形式：

Pij=11+e−oijoij≡oi−ojoi≡f(xi)

损失函数使用交叉熵的形式，并根据上面的定义变形为：

Cij≡C(oij)=−P¯ijlogPij−(1−P¯ij)log(1−Pij)=−P¯ijoij+log(1+eoij)

其中根据样本中两个 item 排序的在前、在后和同序关系，目标取值为：

P¯ij={1,0.5,0}

关于假设合理性的讨论

论文中已经证明上述模型假设的一致性、传递性。由于 oik=oi−oj+(oj−ok)=oij+ojk，则容易得到：

Pij=PijPjk1+2PijPjk−Pij−Pjk

• 自洽性
  上式满足 0<Pij<1.

• 传递性：
  在概率等于 p∈{0,0,5,1} 的时候，等号具有传递性：
  

  P(A▹B)=p,P(B▹C)=p,⇒P(A▹C)=P

  P<0.5 时，小于号传递性：
  

  P(A▹B)=p,P(B▹C)=p,⇒P(A▹C)<P

  0.5<P<1 时，大于号传递性：
  

  P(A▹B)=p,P(B▹C)=p,⇒P(A▹C)>P

  以上的传递不限于两步，经过多步仍然满足。

优模型化

oi 的取值使用神经网络模型

oi=g3⎛⎝⎜⎜∑jw32jg2(∑kw21jkxk+b2j)+b3i⎞⎠⎟⎟≡g3i

其中 g3,g2,w32,w21,b2,b3 分别为第三、第二层激活函数，第三、第二层的权重、第二、第三层偏置。

定义一个 pair 样本的损失为 l(o2−o1) (论文中用 f 表示，这里换成 l)，则参数的梯度 ∂αl=(∂αo2−∂αo1)l′。注意 ∂αo2=∂αf(x2)

∂l∂b3=l′(g′3(x2)−g′3(x1))≡Δ32−Δ31∂l∂w32i=Δ32g2i(x2)−Δ31g2i(x1)∂l∂b2i=Δ32w32ig′2i(x2)−Δ31w32ig′2i(x1)≡Δ22,i−Δ21,i∂l∂w21ij=Δ22,ix2,j−Δ21,ix1,j

所有参数都可以根据上面的梯度，用梯度下降法来优化。