多分类问题Softmax Regression

ref：http://www.cnblogs.com/BYRans/p/4905420.html

多分类问题
在一个多分类问题中，因变量y有k个取值。例如在邮件分类问题中，我们要把邮件分为垃圾邮件、个人邮件、工作邮件3类，目标值y是一个有3个取值的离散值。这是一个多分类问题，二分类模型在这里不太适用。

多分类问题符合多项分布。有许多算法可用于解决多分类问题，像决策树、朴素贝叶斯等。这篇文章主要讲解多分类算法中的Softmax回归（Softmax Regression)

推导思路为：首先证明多项分布属于指数分布族（The exponential family），这样就可以使用广义线性模型（GLMs）来拟合这个多项分布，由广义线性模型推导出的目标函数hθ(x)即为Softmax回归的分类模型。

多分类模型的输出结果为该样本属于k个类别的概率，从这k个概率中我们选择最优的概率对应的类别（通常选概率最大的类别），作为该样本的预测类别。这k个概率用k个变量表示如下。这个k变量和为1，即满足：

且

使用广义线性模型拟合这个多分类问题，首先要验证这个多项分布是否符合一个指数分布族。定义T(y)为：

在这里，统计分量T(y)并没有像之前那样定义为T(y)=y，因为T(y)不是一个数值，而是一个k-1维的向量。使用符号(T(y))i表示向量T(y)的第i个元素。
在这里引入一个新符号1{Boolean}，如果括号内为true则这个符号取1，反之取0，即1{true}=1，1{false}=0。
所以，T(y)与y的关系就可以表示为(T(y))i=1{y=i}.


多项分布表达式转化为指数分布族表达式过程如下：

其中：

多项分布表达式可以表示为指数分布族表达式的格式，所以它属于指数分布族，那么就可以用广义线性模型（GLMs）来拟合这个多项式分布模型。


目标函数hθ(x)推到如下：

参数θ估计——极大似然估计（可利用GA法或Newton法）
有m个训练样本，似然函数：