浅论MLP、ELM、SVM的效果

这几天测试了MLP和ELM的效果，发现MLP明显优于ELM，就一直在思考其中的原因，昨天散步时突然想通了其中的道理。

MLP和ELM、SVM的本质，都是将问题映射到高维空间，然后在高维空间做回归或分类。
从原理上来说，分类或回归的效果，直接受到映射方式的影响，如果一个关键的模式，在高维空间上表现出明显的差异，分类效果就好，如果这个关键模式恰好没在高维空间上表现出来，效果就差。


从这个角度看，MLP的效果要优于ELM，ELM要优于SVM，因为MLP是主动寻找有效的映射方式，而ELM和SVM都是被动的映射，能不能找到好模式主要靠运气。


ELM之所以可以优于SVM，是因为它可以有无穷多种方式投影到高维，而且它训练速度非常快，我们可以训练一大堆ELM，从中选择比较好的一部分，然后再bagging，组合起来就可以加强效果。


最后再看SVM，一旦核函数定下来了，影射方式就唯一确定了，除非你选别的核函数。因此你只有一次或很少几次碰运气的机会，加上训练速度又慢，所以与SVM比起来，性能又下一筹。

把这个事情想通之后，就试了一下SVM的效果，果然如我预测，SVM的效果明显比ELM差