关于ELM
来源:互联网 发布:导航端口和波特率 编辑:程序博客网 时间:2024/06/07 22:19
ELM学习记录及其一些想法
最近有幸参与了一些对于Extreme learning machine(超限学习机)的研究,对于ELM学界似乎是有一定的争论的,详情可参阅[1],大体上其思想就在于对于神经网络问题,对神经元的权重W和b进行随机设定后,就固定不变,并不利用BP算法(也就是梯度下降算法)进行调整,然后将神将网络训练问题转化为一个最小二乘问题,去拟合训练数据。
ELM的一些证明及其想法
ELM具体过程如下:
对于如图所示激活函数为
对于以上L个方程组,可写为
对于传统的神经网络BP求解方法,可以看做这样一个过程,就是首先根据具体应用选取一种Loss Function,最常见的如均方误差
ELM的思想是,随机化
对于一个
这里用到的证明来自与文献[4],即如果
由于图中的等式对
这一证明我觉得最大的问题还是在于这一证明只是针对训练数据的逼近能力而言的,然而对于机器学习的方法,我们实际上最关心的并不是其逼近拟合训练数据的能力,而是其通过一定的数据学习到一定的知识,然后对其未知的数据做出分类,预测的能力,对于很多算法,即使对于训练数据我们能够拟合到误差等于0,但是我们继续训练,对于测试数据,我们仍然能够进行提示,而一个学习算法即使能完美逼近训练数据,也同样可能存在过拟合的问题,所以对于ELM来说,其已经将BP神经网络中的非凸优化问题转化为了一个最小二乘的凸优化问题,该问题在求解过程中已经一定存在至少一个全局最优解,那么已经是可以进行训练了,似乎进行对上一定理的证明的必要性是存疑的。当然,我在这里也并不是对ELM理论进行批判,因为早年神经网络研究可能比较关注训练误差,和数据逼近能力,而学习能力可能限于当时的大规模应用尚未展开,研究者尚未进行足够的研究。作为弥补,在06年的另一篇文献中,作者也给出了ELM对函数逼近能力的严谨的证明[5]。(然而这里有一个思考,对于函数的万能逼近就能刻画机器学习算法的学习能力?我觉得人的学习能力似乎是人类根据杂乱无章的信息,具有制造函数的能力,比如现在的研究在图像识别领域不仅可以区分差别很大的图像,而且已经可以区分开亚洲象和非洲象,可以区分阿拉斯加犬和狼!,真的存在一个万能函数把复杂的图像数据映射到这么多种类上吗?这些种类对于人类以外的生物来识别可能根本就难以区分啊,还是因为它已经可以自学习到一些很深层的特征,在人类引导下创造除了这么多种的种类。)
自己对于ELM的一些实验
采用HPELM的包,对于自己一直研究的预测问题做了一定的实验,值得注意的是,ELM的两个数学证明,一个是神经元个数等于样本数时对于训练数据有无限逼近能力,一个是神经元趋向无穷时,对函数有无限逼近能力,这两者在现实中都是不可行的,比如有90000个样本,而如果是一个90000个神经元的ELM,我们就需要对一个
此外,自己也在研究一种深度神经网络的框架来做这一预测问题,虽然自己目前尚未研究完成并发表的预测方法在性能上是优于ELM的,但是深度神经网络训练相较ELM是极其耗时的,对于一个1000个神经元的ELM方法,训练只需在普通PC上消耗1分钟的时间,在这一任务上其性能已经达到了很多深度学习框架迭代训练上百次的时间达到的精度,如果我们调参过程中用的很多时间得到的结果还不如随机映射出的一个神经网络所能达到的结果,那是否需要对现有的深度神经网络训练方法进行反思呢?
总结
ELM方法是一种较为简单,但性能还不错的神经网络方法,对于ELM似乎有一些批评,比如认为随机映射会破坏数据的原有结构,还有其不可应用到大规模复杂的图像识别,文本分析之类的应用中去,但是我觉得人工智能问题并不是只需要处理图像,音频,文本等等数据,ELM虽然可能很难在imagenet这样的比赛中取得成功,但是对于很多其它领域的研究还是很有用的,因为它比较简单,对于非机器学习领域的研究者来说拿来就能用,而且效果说不定也还不错,其性能相较简单的BP神经网络可能更佳,另外对于神经网络结构进行随机映射亦能取得不错的效果,是一个很有趣的现象,也是一个很值得思考的问题,更是一个很值得研究的问题。也应该引起其它领域神经网络研究者的一些反思。
参考(由于有些并不是文献,所以只给出参考)
[1] http://www.zhihu.com/question/28810567
[2] Akusok, Anton, et al. “High-performance extreme learning machines: a complete toolbox for big data applications.” IEEE Access 3 (2015): 1011-1025.
[3] Huang, Guang-Bin, Qin-Yu Zhu, and Chee-Kheong Siew. “Extreme learning machine: theory and applications.” Neurocomputing 70.1 (2006): 489-501.
[4] Tamura, Shin’ichi, and Masahiko Tateishi. “Capabilities of a four-layered feedforward neural network: four layers versus three.” IEEE Transactions on Neural Networks 8.2 (1997): 251-255.
[5] Huang, Guang-Bin, Lei Chen, and Chee Kheong Siew. “Universal approximation using incremental constructive feedforward networks with random hidden nodes.” IEEE Transactions on Neural Networks 17.4 (2006): 879-892.
[6] Liu, Xia, et al. “Is extreme learning machine feasible? A theoretical assessment (Part I).” IEEE transactions on neural networks and learning systems 26.1 (2015): 7-20.
- 关于ELM
- ELM Scandal
- ELM基础
- ELM原理
- ELM学习心得
- what is ELM
- elm学习总结
- 简单易学ELM
- ELM极限学习机算法
- 极限学习机 Elm
- 超限学习机(ELM)
- elm之入门相关
- 极限学习机(ELM)
- ELM极限学习机源码
- elm语言学习
- 极限学习机(ELM)
- ELM实验思路
- 转载 elm中文手册
- AJAX学习笔记
- 在Linux上安装ant环境
- 可爱的冥王星
- NKOI 3711 摆花
- WEB前端 :“懒人”养成计划
- 关于ELM
- 如何创建并运行java线程
- 一个可以开源出去的平台
- PHP书写规范 PHP Coding Standard
- 大一暑期学习计划
- hjr-c#实习日记(一):asp .net web api
- Autoencoders
- 二叉树
- NKOI 3124 珍珠吊坠