最大熵模型

模型：

Pw(y|x)=1Zw(x)exp(∑i=1nwifi(x,y))

其中，

Zw(x)=∑yexp(∑i=1nwifi(x,y))

模型的导出：

最大熵模型的学习等价于约束最优化问题：

minP∈C−H(P)=∑x,yP˜(x)P(y|x)logP(y|x)

s.t.EP(fi)−EP˜(fi)=0,i=1,2,⋯,n

∑yP(y|x)=1

约束最优化问题转化为无约束对偶问题，定义拉格朗日函数 L(P,w):

L(P,w)≡−H(P)+w0⎛⎝1−∑yP(y|x)⎞⎠+∑i=1nwi(EP˜(fi)−EP(fi))

最优化的原始问题为

minP∈CmaxwL(P,w)

对偶问题是

maxwminP∈CL(P,w)

求 L(P,w) 对 P(y|x) 的偏导数并令为 0，得

Pw(y|x)=1Zw(x)exp(∑i=1nwifi(x,y))

其中，

Zw(x)=∑yexp(∑i=1nwifi(x,y))

算法：

之后，求解对偶问题外部的极大化问题的出 w∗ .
简单问题可以令导数为 0，复杂的可以参见改进的迭代尺度法(improved iterative scaling，IIS)或者拟牛顿法(如BFGS算法) .

补充说明：

f(x,y) 为特征函数，定义为

f(x,y)={1,0,x 与 y 满足某一事实否则