softmax回归

在广义线性模型中推导出了，如何根据回归模型的输出分布，推导出该模型的连接函数，和损失函数。
1.证明该分布属于指数分布族；
2.将连接函数(回归函数)表示为T(y)的期望，即计算E[T(y)|x]；
3.替换eta为x的线性表示。
在softmax回归的论述中，同样会遵循上述步骤。

Softmax回归简介
Softmax回归可以看做是逻辑回归的扩展，逻辑回归只能进行二分类，输出只能为0或者1，softmax回归能够解决k分类问题，输出为{1,2,3,…,k};

从softmax的输出服从多项分布

多项分布的概率密度函数(PDF)为：
令：

1.证明该分布属于指数分布族

2.将连接函数(回归函数)表示为T(y)的期望，并eta替换为x的线性表示



3.误差损失函数
Softmax的对数似然函数为：