跬步系列 - Sigmoid函数和Softmax函数

背景介绍

Sigmoid函数

Sigmoid函数最简单的形式是 f(x)=11+e−x
其对应的导数是 f′(x)=e−x(1+e−x)2=f(x)(1−f(x))
Sigmoid函数是一个良好的阈值函数,连续, 光滑,并且严格单调,关于(0,0.5)中心对称.

Softmax函数

两者之间的区别和联系

神经网络中的SIGMOID函数的意义? - 齐鹏的回答
sigmoid在指数函数族(Exponential Family)里面是标准的bernoulli marginal, 而exponential family是一个给定数据最大熵的函数族, 在线性产生式模型(generative model)里面是属于「最优」的一类. 直观理解是熵大的模型比熵小的更健壮(robust), 受数据噪声影响小.

(1) 对于深度神经网络, 中间的隐层的输出必须有一个激活函数. 否则多个隐层的作用和没有隐层相同. 这个激活函数不一定是sigmoid, 常见的有sigmoid、tanh、relu等.
(2) 对于二分类问题, 输出层是sigmoid函数. 这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间. 函数值恰好可以解释为属于正类的概率(概率的取值范围是0~1). 另外, sigmoid函数单调递增, 连续可导, 导数形式非常简单, 是一个比较合适的函数
(3) 对于多分类问题, 输出层就必须是softmax函数了. softmax函数是sigmoid函数的推广.

相关介绍

• Softmax回归 - UFLDL Tutorial 中介绍和比较Sigmoid函数和Softmax函数的章节
• Continuous Output - The sigmoid function