softmax回归

softmax函数

总共有k个类别，一个样本属于类别i的概率为：

对数似然函数

类似逻辑回归，构建softmax的对数似然函数：

损失函数

对损失函数求导：

求解

梯度上升

softmax和多个逻辑回归的区别

对于选择softmax分类器还是个logistic分类器，取决于所有类别之间是否互斥。
所有类别之间明显互斥用softmax分类器，所有类别之间不互斥有交叉的情况下最好用个logistic分类器。