logistic regress and softmax

1、逻辑回归为softmax的一个特例：二分类

2、softmax由于属于 j 类概率可写成如下公式：

 

回归的参数向量减去一个常数向量，会有什么结果：

没有变化！这说明如果某一个向量是代价函数的极小值点，那么这个向量在减去一个任意的常数向量也是极小值点，这是因为 softmax 模型被过度参数化了。

为了解决softmax模型被过度参数化的问题，加入权重衰减因子，

加入权重衰减后的代价函数是：

等号右边第一项是训练样本 label 对应的输出节点上的概率的负对数，第二项是 weight decay ，可以使用梯度下降法和 L-BFGS 等算法可以保证收敛到全局最优解。

1、公式如何得来的？

2、负对数的意义何在？

3、weight decay 是个什么鬼东西？

参考文章：

http://www.cnblogs.com/daniel-D/archive/2013/05/30/3109276.html

http://blog.csdn.net/zouxy09/article/details/20319673

http://blog.csdn.net/pi9nc/article/details/19336629

http://blog.csdn.net/rtygbwwwerr/article/details/42147783