万能近似定理(universal approximation theorrm)
来源:互联网 发布:网络安全技术pdf 编辑:程序博客网 时间:2024/06/02 07:05
神经网络的架构(architecture)指网络的整体结构。大多数神经网络被组织成称为层的单元组,然后将这些层布置成链式结构,其中每一层都是前一层的函数。在这种结构中,第一层由下式给出:
第二层:
第三层,以此类推!
可以看出,每一层的主体都是线性模型。线性模型,通过矩阵乘法将特征映射到输出,顾名思义,仅能表示线性函数。它具有易于训练的优点,因为当使用线性模型时,许多损失函数会导出凸优化问题。不幸的是,我们经常希望我们的系统学习非线性函数。
乍一看,我们可能认为学习非线性函数需要为我们想要学习的那种非线性专门设计一类模型族。幸运的是,具有隐藏层的前馈网络提供了一种万能近似框架。
具体来说, 万能近似定理(universal approximation theorem)(Hornik et al., 1989;Cybenko, 1989) 表明,一个前馈神经网络如果具有线性输出层和至少一层具有任何一种‘‘挤压’’ 性质的激活函数(例如logistic sigmoid激活函数)的隐藏层,只要给予网络足够数量的隐藏单元,它可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的Borel 可测函数。
万能近似定理意味着无论我们试图学习什么函数,我们知道一个大的MLP 一定能够表示这个函数。然而,我们不能保证训练算法能够学得这个函数。即使MLP能够表示该函数,学习也可能因两个不同的原因而失败。
- 用于训练的优化算法可能找不到用于期望函数的参数值。
- 训练算法可能由于过拟合而选择了错误的函数。
根据‘‘没有免费的午餐’’ 定理,说明了没有普遍优越的机器学习算法。前馈网络提供了表示函数的万能系统,在这种意义上,给定一个函数,存在一个前馈网络能够近似该函数。但不存在万能的过程既能够验证训练集上的特殊样本,又能够选择一个函数来扩展到训练集上没有的点。
总之,具有单层的前馈网络足以表示任何函数,但是网络层可能大得不可实现,并且可能无法正确地学习和泛化。在很多情况下,使用更深的模型能够减少表示期望函数所需的单元的数量,并且可以减少泛化误差。
- 万能近似定理(universal approximation theorrm)
- 近似计算(approximation)
- 近似计算(approximation)
- 《算法竞赛入门经典》习题2-7 近似计算(approximation)
- 万能调节器(Universal adapter)的设计与实现
- POJ1650 Integer Approximation(“追赶法”搜索)
- 用虎克定理来近似模拟水波波动效果
- Android-Universal-Image-Loader-万能图片加载器
- POJ 1650 Integer Approximation (追赶法求解)
- Approximation Algorithms
- csu1328(近似回文串)
- 流挖掘算法介绍00:序——背景,流数据模型,近似算法评估,2-Universal 哈希
- 【lizhi125】Universal Extractor 万能解包器 - 从安装包解压提取绿色文件的工具
- 万能药水(贪心)
- 万能Dao(Oracle)
- 万能适配器(一)
- 万能适配器(二)
- Buffon投针(近似计算π)
- 视频播放结合进度条
- Spring AOP(一)(基本概念+基于配置的AOP)
- 10-19move函数完全整合,一次改变多个样式,回调函数
- Android控件ListView和Spinner组合控件案例
- Codevs 1391 伊吹萃香
- 万能近似定理(universal approximation theorrm)
- H5-indexeddb-promised
- 样式测试点持续更新中
- windows 监控 MySQL 查询记录
- 单链表的基本操作
- 3714: [PA2014]Kuglarz
- CentOS 定时执行脚本配置
- join on 和where 一起使用的细节
- 网络判断