神经网络中的sigmoid函数
来源:互联网 发布:2013nba东部决赛数据 编辑:程序博客网 时间:2024/06/10 01:43
1、weights、bias 参数学习
我们希望有一种学习算法,它能够自动地调整网络中的权重因子和偏置。 但是,我们怎样才能设计出这样的算法神经网络?可以通过学习来解决一些问题。假如,网络的输入是从扫描的原始像素数据,亦或是手写数字的图像。我们希望通过网络可以自动地学习权重和偏差,使输出从网络正确分类的数字。假设我们对网络上的一些权重(或偏置)做一些小的调整,并且希望网络上权重因子和偏差也仅有较小的变化,同样的在输出网络中也只产生一个小的改变。我们想象一下这样的参数学习能否为自适应的形式?如下图所示:
(1)
假设一个小的权重变化(或偏置)对输出也产生较小的影响,那么我们通过这一策略来修改的权重(weight)和偏置(bias),让网络学习到更多想要的规则。例如,假设在网络中图像“9”被误分为“8”时。可以通过校正权重和偏(每次做细小的改变),使网络变得更接近分类的图像为“9”。 最终网络将循环校正,不断调整权重(weight)和偏置(bias),使网络得到更好的输出结果。
问题并不是想象的这么简单,在一个网络的众多神经元当中,一个参数的细小改变,也许会发生天翻地覆的变化。实际上,在网络中的任何一个单一的感知器(神经元)的权重或偏差发生变化,即使是细微的变化,有时会导致输出完全相反,就像从 0 到 1 的变化。因此,虽然你的“9”可能被正确分类,但是网络中的感知器就很可能无法学习到为其它数字分类的‘规则’,这也就使得网络中参数学习变得极其困难。也许有一些聪明的方法来解决这个问题,显而易见这不是我们想要的结果。
2、sigmoid 神经元的引入
我们可以通过引入一种人工神经元(即 sigmoid(function () { 神经元:
(2)
和感知器一样,这里 sigmoid 。 定义为:
(3)
上式中,将输入、即参数带入,形式上可以写为:
(4)
2.1、sigmoid 原理
仅从数学公式上看,sigmoid 神经元之间有许多相似之处。
为了更详细地了解感知器模型,假设 z≡w⋅x+b。
sigmoid
smoothed
2.2、Sigmoid function
假如σ 可以近似的表示为:
(5)
这里 Δoutput 进行微调,以至于感知器可以尽可能地学习到“想要”的规则。/font>
3 总结
我们该如何去阐述 sigmoid 神经元的输出不只局限在 0 or 1 。它的输出可以是 0 到 1 之间的任意数值,如 0.124…,0.864…。这样的改变,将对整个神经网络产生质的变化。
代码实现:
class Network(object): def __init__(self, sizes): self.num_layers = len(sizes) self.sizes = sizes self.biases = [np.random.randn(y, 1) for y in sizes[1:]] self.weights = [np.random.randn(y, x) for x, y in zip(sizes[:-1], sizes[1:])] def sigmoid(z): """ sigmoid 函数实现 """ return 1.0/(1.0+np.exp(-z))
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 神经网络中的sigmoid函数
- 人工神经网络之激活函数 -Sigmoid函数
- 神经网络之激活函数(sigmoid、tanh、ReLU)
- 神经网络的激活函数sigmoid RELU
- 神经网络之激活函数(sigmoid、tanh、ReLU)
- 神经网络中的激活函数(activation function)-Sigmoid, ReLu, TanHyperbolic(tanh), softmax, softplus
- 人工神经网络中的activation function的作用以及ReLu,tanh,sigmoid激励函数的区别
- 神经网络中的激活函数-Sigmoid, ReLu, TanHyperbolic(tanh), softmax, softplus简述
- python绘制神经网络中的Sigmoid和Tanh激活函数图像(附代码)
- 神经网络中的激活函数具体是什么?为什么ReLu要好过于tanh和sigmoid function?
- 神经网络激活函数sigmoid relu tanh 为什么sigmoid 容易梯度消失
- AI神经网络激活函数sigmoid及matlab的sigmf
- sigmoid函数
- Sigmoid函数
- Sigmoid 函数
- sigmoid函数
- Sigmoid 函数
- sigmoid 函数
- Text使用富文本
- 决策树原理
- [HDU
- 关于struts2或webwork form表单无法提交到后台控制层方法的问题分析
- 转的一杂谈
- 神经网络中的sigmoid函数
- 安卓- apk安装出现闪退java.lang.RuntimeException: Unable to instantiate application
- Unity 5.x UGUI 控件使用
- HyperLedger/fabric1.0.0正式版安装部署
- ActionContext.getContext()的基本用法
- lambda表达式及3个内置函数
- Python 随机生成200个优惠码
- Ignatius and the Princess IV
- Common Subsequence||HDU1159