神经网络的发展
来源:互联网 发布:淘宝店铺无线店招 编辑:程序博客网 时间:2024/05/20 11:27
1 双层感知器模型的发展
Minsky说过单层神经网络无法解决异或问题。但是当增加一个计算层以后,两层神经网络不仅可以解决异或问题,而且具有非常好的非线性分类效果。不过两层神经网络的计算是一个问题,没有一个较好的解法。
1986年,Rumelhar和Hinton等人提出了反向传播(Backpropagation,BP)算法,解决了两层神经网络所需要的复杂计算量问题,从而带动了业界使用两层神经网络研究的热潮。目前,大量的教授神经网络的教材,都是重点介绍两层(带一个隐藏层)神经网络的内容。
2 对双层感知器模型的理解
为什么多层感知器模型优于单层感知器模型,并且很好了解决了异或问题?引用块内容
两层神经网络可以无限逼近任意连续函数。
图中红色的线与蓝色的线代表数据。而红色区域和蓝色区域代表由神经网络划开的区域,两者的分界线就是决策分界。
可以看到,这个两层神经网络的决策分界是非常平滑的曲线,而且分类的很好。有趣的是,前面已经学到过,单层网络只能做线性分类任务。而两层神经网络中的后一层也是线性分类层,应该只能做线性分类任务。为什么两个线性分类任务结合就可以做非线性分类任务?我们来看看它是如何做到的
输出层的决策分界仍然是直线。关键就是,从输入层到隐藏层时,数据发生了空间变换。即:两层神经网络中- (1)隐藏层对原始的数据进行了一个空间变换,使其可以被线性分类
(2)输出层的决策分界划出了一个线性分类分界线,对其进行分类。
两层神经网络可以做非线性分类的关键–隐藏层:矩阵和向量相乘,本质上就是对向量的坐标空间进行一个变换。因此,隐藏层的参数矩阵的作用就是使得数据的原始坐标空间从线性不可分,转换成了线性可分。
3 深度学习:多层神经网络的再起航
增加更多的层次有什么好处?更深入的表示特征,以及更强的函数模拟能力。神经网络有了更强的学习能力。
更深入的表示特征可以这样理解,随着网络的层数增加,每一层对于前一层次的抽象表示更深入。在神经网络中,每一层神经元学习到的是前一层神经元值的更抽象的表示。例如第一个隐藏层学习到的是“边缘”的特征,第二个隐藏层学习到的是由“边缘”组成的“形状”的特征,第三个隐藏层学习到的是由“形状”组成的“图案”的特征,最后的隐藏层学习到的是由“图案”组成的“目标”的特征。通过抽取更抽象的特征来对事物进行区分,从而获得更好的区分与分类能力。
4 回顾
参考:http://www.cnblogs.com/subconscious/p/5058741.html
- 神经网络的发展
- 神经网络发展
- 神经网络理论的发展与前沿问题
- 神经网络理论的发展与前沿问题
- 2016.3.30 神经网络的未来发展
- 神经网络的发展历史与深度学习
- 人工神经网络发展历程
- deep learning 学习笔记(一):神经网络的发展
- 深度学习与神经网络全局概览:核心技术的发展历程
- 如何利用人工神经网络加速自然历史科学的发展?
- 卷积神经网络技术及发展
- 卷积神经网络技术及发展
- 神经网络 I:概述及发展
- tensorflow56 《TensorFlow技术解析与实战》06 神经网络的发展及其Tensorflow实现
- 转:深度 | 深度学习与神经网络全局概览:核心技术的发展历程
- 学习笔记TF052:卷积网络,神经网络发展,AlexNet的TensorFlow实现
- TensorFlow技术解析与实战 6 神经网络的发展及其 TensorFlow 实现
- 机器学习及神经网络发展历程
- 第十二周——项目二—拓扑排序
- IAAS、SAAS、PAAS
- 【UGUI】血条
- AndroidStudio如何导入项目与移除列表module
- 判断k个素数之和-LintCode
- 神经网络的发展
- 第十四周 项目二 二叉树排序树中查找的路径
- 【勤哲应用】用勤哲Excel服务器做变压器行业ERP管理系统
- Json是什么?
- 第十三周项目一(3)——验证二叉排序树相关算法
- 黑马程序员:毕向东java视频之面向对象篇一(三大特性)
- ubuntu系统访问win10磁盘,出现错误
- Hibernate(一)---Hibernate简介
- 第10周项目1(2)-由顺序存储结构转为二叉链存储结构