二十一(随机初始化在无监督特征学习中的作用)
来源:互联网 发布:青牛软件手机卡 编辑:程序博客网 时间:2024/06/05 02:09
以上两个结论不免能引起大家很多疑惑,既然这么多人去研究深度学习,提出了那么多深度学习的算法,并构建了各种深度网络结构,而现在却发现只需用单层网络,不需要任何深度学习算法,就可以取得接近深度学习算法的最优值,甚至更好。那么深度学习还有必要值得研究么?单层网络也就没有必要叫深度学习了,还是叫以前的神经网络学习算了。这种问题对于我这种菜鸟来说是没法解答的,还是静观吧,呵呵。
文章主要是回答两个问题:1. 为什么随机初始化有时候能够表现那么好? 2. 如果用无监督学习的方法来预赋值,用有监督学习的方法来微调这些值,那这些方法的作用何在?
针对第一个问题,作者认为随机初始化网络参数能够取得很好的效果是因为,如果网络的结构确定了,则网络本身就对输入的数据由一定的选择性,比如说会选择频率选择性和平移不变性。其公式如下:
因此,最优输入处的频率是滤波f取最大的幅值时的频率,这是网络具有频率选择性的原因;后面那个相位值是没有固定的,说明网络本身也具有平移不变形选择性。(其实这个公式没太看得,文章附录有其证明过程)。下面这张图时随机给定的网络值和其对应的最佳响应输入:
其中圆形卷积是指其卷积发生可以超出图片的范围,而有效卷积则必须全部在图片范围内进行。其示意图可以参考下面的:
作者给出了没有使用convolution和使用了convolution时的分类准确度对比图,图如下所示:
其中不使用convolution和使用convolution的区别是,前者在每个位置进行convolution时使用的网络参数是不同的,而后者对应的参数是相同的。由上图也可以知道,使用convolution的方法效果会更好。
下面是作者给出第二个问题的答案,首先看下图:
由上图可知,使用预训练参数比随机初始化参数的分类效果要好,测试数据库是NORB和CIFAR。预训练参数值的作用作者好像也没给出具体解释。只是给出了建议:与其在网络训练方法上花费时间,还不如选择一个更好的网络结构。
最后,作者给出了怎样通过随机算法来选择网络的结构。因为这样可以节省不少时间,如下表所示:
参考资料:
On random weights and unsupervised feature learning. In ICML 2011,Saxe, A., Koh, P.W., Chen, Z., Bhand, M., Suresh, B., & Ng, A. (2011).
Deep learning:二十(无监督特征学习中关于单层网络的分析)
- 二十一(随机初始化在无监督特征学习中的作用)
- 随机初始化在无监督特征学习中的作用
- 无监督特征学习
- 无监督特征学习基本原理
- 非监督特征学习与深度学习(十一)----优化方法:随机梯度下降
- 无监督特征学习(半监督学习+自学习)
- 无监督特征学习涉及的基本概念
- Deep learning:二十(无监督特征学习中关于单层网络的分析)
- 机器学习(二)无监督学习
- 聊聊机器学习中的无监督学习
- 机器学习(二):有监督学习、无监督学习和半监督学习
- 无监督学习图像处理中的应用
- 监督学习?无监督学习?
- 监督学习&无监督学习
- 机器学习中的有监督学习,无监督学习,半监督学习
- 机器学习中的有监督学习,无监督学习,半监督学习
- 机器学习中的有监督学习,无监督学习,半监督学习
- 机器学习中的有监督学习,无监督学习,半监督学习
- Android UI基础之Dialog对话框的使用
- Derivatives of matrix
- 【BLE】CC2541之通过广播发送自定义数据
- 欢迎使用CSDN-markdown编辑器
- Python字典
- 二十一(随机初始化在无监督特征学习中的作用)
- 二十二(linear decoder练习)
- 二十三(Convolution和Pooling练习)
- 二十四(stacked autoencoder练习)
- 二十五(Kmeans单层网络识别性能)
- STL vector提高效率注意事项与技巧
- 二十六(Sparse coding简单理解)
- 1602: [Usaco2008 Oct]牧场行走|Lca
- 二十七(Sparse coding中关于矩阵的范数求导)