统计学习方法（五）

懒得总结，看的都是概念，不知道怎么应用，明天上实例吧。

六、logistic regression与最大熵模型

1、逻辑斯蒂回归模型

逻辑斯蒂分布F（x）=1 /（1+exp(-x-u)/r ）

逻辑斯蒂回归模型：P（Y=1 | x）=exp（wx+b）/（1+exp（wx+b））：称为对数模型（输出Y=1的对数几率是输入x的线性函数）

2、模型参数估计

（P79）写出似然函数（P9），算出对数似然函数L(w)，并求出其极大值，即可得到w的估计值。

3、最大熵模型

在学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。（在没有更多信息的情况下，所有不确定的部分都是等可能的，等可能不好确定，但是可以通过用熵最大来表示）

算法：假设模型P（X | Y）的期望等于经验分布~P（X | Y）的期望（约束条件），那么求出条件熵H（P）最大的模型即可。

引入拉格朗日乘子w（Rn），定义拉格朗日函数L（P，w），优化该问题，求出w*即可（P85）

P87证明了对偶函数的极大化等价于最大熵模型的极大似然估计

4、习题

4.2、写出逻辑斯蒂回归模型学习的梯度下降算法

答案

FYI