CNN基础(2)

Neural Network architectures

a mathematical model of neuron

---

Activation Functions

• Sigmoid
  

  σ(x)=1/(1+e−x)
  
  
  • Sigmoids saturate and kill gradients
  • Sigmoid outputs are not zero-centered

• tanh
  

  tanh(x)=2σ(2x)−1
  
  
  • in practice the tanh non-linearity is always preferred to the sigmoid nonlinearity

• ReLU(Rectified Linear Unit )
  

  f(x)=max(0,x)
  
  
  • (+) It was found to greatly accelerate
  • (+) ReLU can be implemented by simply thresholding a matrix of activations at zero
  • (-)Unfortunately, ReLU units can be fragile during training and can “die”

• Leaky ReLU
  

  f(x)=

阅读全文

0 0

• CNN基础(2)
• CNN基础
• CNN基础
• CNN基础(1)
• CNN基础(3)
• 零基础学CNN
• CNN卷积神经网络基础
• 卷积神经网络CNN-基础
• 卷积神经网络(CNN)基础介绍
• 卷积神经网络(CNN)基础介绍
• 卷积神经网络(CNN)基础介绍
• 卷积神经网络(CNN)基础介绍
• [深度学习之CNN] 卷积神经网络(CNN)基础介绍
• CNN基础和进展（上）
• 深度学习基础1-CNN的内容
• 卷积神经网络CNN之基础介绍
• 理解CNN-2
• cnn 学习笔记 2
• puppet
• 链表面试题（二）---链表逆序（链表反转）
• 特殊的json（键值是数字的json）处理
• ML涨姿势 001A 逻辑回归
• List 与JSON array 之间的转换
• CNN基础(2)
• RSA+Base64加密
• layoutAnimation动画
• 传智播客笔记(JavaSE)
• 神经网络学习笔记
• 栈-数据结构(5)
• CNN基础(3)
• Servlet 中文乱码问题及解决方案剖析
• 一些简单的shell脚本 学习