谷歌大脑的 Swish 激活函数与 ReLU 激活函数对比

导语

      最近谷歌大脑公布了一个新的激活函数，叫做 Swish 激活函数。这个函数非常的有趣，很多人都把它应用到一些小的神经网络和大的神经网络中去测试它的性能。所以，我也打算去 kaggle 上面测试一些这个函数的性能如何。

      Swish 激活函数的数学公式非常的简单，即 f(x) = x * sigmoid(x) 。根据谷歌大脑的论文，该激活函数的性能比 ReLU 激活函数的性能要好很多。

  利用 Keras 实现的 ReLU 模型，在 kaggle 上面获得的分数是 0.99457。保持所有的模型参数不变，只是把原来模型中的 ReLU 激活函数修改为 Swish 激活函数，该模型的正确率就可以达到 0.99671 。

在正确率方面，Swish 激活函数的性能比 ReLU 激活函数好一点，在 kaggle 上面的排名大约可以排到 90 名。