基础ANN相关论文研读

1. Approximation Capabilities of Multilayer Feedforward Networks
   —-KURT HORNIK
   1991
   论文阐释了对于任意有限输入环境测量p，只要足够多的隐藏单元可用，那么具有少至单个隐藏层和任意有界和非常数激活函数的标准多层反向网络是关于Lp(μ)性能标准的通用逼近器。 如果激活函数是连续、有界且非常数，那么可以在紧凑输入集合（欧氏空间上有界闭集等于紧集）上统一学习连续映射。 文章还给出非常一般的条件，确保具有足够平滑的激活函数的网络能够任意精确地逼近一个函数和它的导数。
   该论文之前有些研究称多层感知机的近似能力只和激活函数ψ有关，例如激活函数是可积分的，是对称的或者单调等等。而在这篇文章中，却阐述关于激活函数的过多的假设是没有必要的。文章说明了不论什么时候，当接近称度由ρp,μ测量，只要ψ是有界且非常数的，那么对于绝对的环境测量μ，标准的多层感知机加上ψ能够很好的逼近任意在Lp(μ)（所有函数在Rk上的∫Rk|f(x)|pdμ(x)<∞空间)上的函数，当然假设前提是有很多隐层单元。
   类似的，文章提出只要激活函数ψ连续、有界且非常数，那么对于任意的紧凑集X∈Rk，标准的多层感知机网络附加激活函数ψ能够很好地近似任何关于X的连续函数(设计uniform distance ρμ,X)，因此，该文认为是多层感知机本身而非激活函数让神经网络具有全局学习的潜力。
   介绍两种描述函数之间距离的公式:
   
   • uniform distance
     ρμ,X(f,g)=supx∈X|f(x)−g(x)|
   • Lp(μ) distance
     ρp,μ(f,g)=[∫Rk|f(x)−g(x)|pdμ(x)]1/p
     这个式子用来度量平均性能，其中均值是关于输入环境测量值μ的，μ(Rk)<∞.
     这个式子中1≤p<∞，最流行的取法是p=2,这个时候和均方差（mean square error）相联系。