complementary priors

1.hammersley-clifford theorem
参见hammersley-clifford theorem.在这里我们只需解释一下什么叫clique，A subset A is said to be complete(clique) if each pair of vertices in A defines an edge of the graph.hammersley-clifford theorem,简单说就是，X1,X2,...,Xn构成马尔科夫随机场，当且仅当它的联合分布是吉布斯分布(玻尔兹曼分布)。
文章中的ϕc(x1,x2)=exp(a+b1∗x1+b2∗x2+c∗x1∗x2)
原因是x_1,x_2是二元分布(参见 potential functions )

2.general complementarity.假设x表示观测变量，y表示隐藏变量。给定条件似然函数P(x|y) ,这个在深信度网络中是给定的。我们需要找到y先验分布p(y)，使得y的后验分布可以写成如下形式

P(y|x)=∏jp(yj|x)

即可分解成因子。那么这样的先验分布p(y)我们称为complement prior.
2.我们接下来要说明的是如下形式的条件似然函数包含了所有存在complement prior的条件似然函数p(x|y)

P(x|y)=1Ω(y)exp(∑jΦ(x,yj)+β(x))=exp(∑jΦ(x,yj)+β(x)−log(Ω(y)))

相应的complementary priors 有如下的形式

P(y)=1Cexp(logΩ(y)+∑jαj(yj))

这样，显然

P(x,y)=1Cexp(∑jΦj(x,yj)+β(x)+∑jαj(yj))(1)

现在，我们假设存在complementary prior函数，使得y
的后验分布是可因子化的，那么

P(x,y)=∏jP(yj|x)P(x)

可以想象，我们将y中每个元素和x中每个元素相连，同时，将x中每两个元素相连，显然这是一个马尔科夫随机场，根据hammersley-clifford theorem我们容易得到联合分布就是(1)那个样子。接下来容易得到条件似然函数，然后得到complementary prior。