《neural network and deep learning》学习笔记二-sigmoid neurons
来源:互联网 发布:钻石净度分级标准知乎 编辑:程序博客网 时间:2024/06/05 15:49
神经网络是如何训练的
首先考虑对于一个网络,我们希望学习权重和偏置,从而得到正确的分类效果。为了查看学习算法是如何工作的,我们希望权重和偏置的每作出一点改变,对应输出结果也作出一点改变。正是由于这个性质,网络才具备了学习的能力。
为什么感知网络不能进行学习
上图代表着一个感知器网络,实际上,对于单个感知器的权重和偏置的改变有时会造成该感知器输出的完全翻转,即从0变为1。这种翻转可能会造成网络剩余部分以复杂方式进行了改变。例如:虽然你的数字“9”图像被正确分类,但是当输入其他数字图像时,网络的行为以不可预测的方式进行了改变。即感知器网络无法做到网络输出随着权重和偏置的微小改变,也作出微小改变。综上所述,在感知器网络中,很难实现通过逐渐改变权重和偏置的方式来对网络输出作出朝正确结果的稍微改变。
引进sigmoid神经元 ##
为了克服感知器的上述问题,引进sigmoid神经元。sigmoid 神经元可以输入0到1的数(包括0和1),输出也不仅仅只有0,1。神经元的输出变为非线性函数:∂(w•x +b)
称∂为sigmoid 函数。
虽然sigmoid 神经元形式上跟感知器有很大的区别,但本质上,它和感知器是相似的:当 z 为很大的正数时,∂函数约等于1;当 z 为很小的负数时,∂函数约等于0。这种行就是sigmoid神经元和感知器的相似性。只有当 z 取值适中时,两者有较大的差别。这种差别是由于sigmoid函数的形状决定的。
那么为什么还要引出sigmoid神经元:
感知器对应的激活函数就是位于下面的图形-跨越函数。即感知器的输出只有0和1,其中Z=w•x。位于上方的图是sigmoid函数,该函数本质上就是对跨越函数进行了平滑。该平滑的作用就是:每对权重和偏置进行微小改变,对应输出也作出微小改变。实际上:
从公式中可以将∆output看成关于∆wj 和∆b 的线性函数。
sigmoid函数的图形形状,决定该函数具备神经网络学习的原则:权重和偏置的微小改变,神经网络的输出也可以作出微小改变。
- 《neural network and deep learning》学习笔记二-sigmoid neurons
- neural network and deep learning(笔记二)
- 《Neural Network and Deep Learning》学习笔记-hyper-parameters
- 《Neural network and deep learning》学习笔记(一)
- Neural Network and deep learning(二)
- Neural Networks and Deep Learning 学习笔记(二)
- Neural Network and Deep Learning
- neural networks and deep learning 学习笔记
- Neural Networks and Deep Learning 学习笔记
- neural network and deep learning笔记(1)
- neural network and deep learning笔记(2)
- neural network and deep learning (1)
- neural network and deep learning (2)
- neural-networks-and-deep-learning network.py
- Neural Networks and Deep Learning学习笔记ch6 - 深度学习
- Neural Networks and Deep Learning学习笔记ch1 - 神经网络
- Neural Networks and Deep Learning学习笔记ch2 - 反向传播
- Neural Networks and Deep Learning 学习笔记(一)
- 块匹配
- 欢迎使用CSDN-markdown编辑器
- JavaScript 闭包突破作用域连
- python 使用Id3算法实现决策树
- 中间件kingshard入门(五):夭折
- 《neural network and deep learning》学习笔记二-sigmoid neurons
- Episode Seven:从SIFT算法到dense SIFT算法
- 搜索时去掉所有特殊字符
- ScrollView嵌套ListView滑动冲突问题
- 北京市昌平区卫星地图离线包下载
- 657. Judge Route Circle
- 数据库SQL优化大总结之 百万级数据库优化方案
- word 2013插入公式之后行距变宽 解决方案
- 【JZOJ 3542】 冒泡排序