统计学习方法 第6章 逻辑斯谛回归与最大熵模型（2）

最大熵模型的学习

最大熵模型的学习等价于约束最优化问题：

即：

首先，引进拉格朗日乘子w₀,…,w_n，定义拉格朗日函数L(P,w)：

最优化问题的原始问题：

对偶问题：

对偶函数的极大化等价于最大熵模型的极大似然估计。（证明p87）

先求解内部的极小化问题，得到：

即为最大熵模型，其中：

之后可用最优化算法求解对偶问题外部的极大化问题，得到w。

模型学习的最优化算法

改进的迭代尺度法IIS

1. 对所有i，取初值w_i=0
2. 对每一i：
   
   1. 另δ_i是方程
      
      的解，其中
      
   2. 更新w_i值为w_i+δ_i
3. 如果不是所有w_i都收敛，重复步骤2

拟牛顿法BFGS算法

1. 选定初始点w⁽⁰⁾，取B₀为正定对称矩阵，置k=0
2. 计算
   
   ，若
   
   则停止，最优参数
   
   ，否则进入步骤3
3. 由
   
   求p_k
4. 一维搜索：求λ_k使得
   
5. 置
   
6. 计算
   
   ，若
   
   则停止，最优参数
   
   ，否则求B_k+1：
   
   ，其中：
   
7. 置k=k+1，转步骤3