卷积神经网络——ResNeXt
来源:互联网 发布:知乎平均985 编辑:程序博客网 时间:2024/06/07 03:44
网络结构
提出来 cardinality 的概念,在上图左右有相同的参数个数,其中左边是 ResNet 的一个区块,右边的 ResNeXt 中每个分支一模一样,分支的个数就是 cardinality。
所谓 split-transform-merge 是指通过在大卷积核层两侧加入 1x1 的网络层,控制核个数,减少参数个数的方式。
而 repeat layer 则是指重复相同的几层,前提条件是这几层的输出输出具有相同的维度,一般在不同的 repeat layers 之间使用 strip=2 降维,同时核函数的个数乘 2。
以上图为例,中括号内就是 split-transform-merge,通过 cardinality(C) 的值控制 repeat layer。
output 在上下相邻的格子不断减半,中括号内的逗号后面卷积核的个数不断翻倍。
等价模式
左侧的模型有两个等价的模型,最右侧是 AlexNet 中提出的分组卷积,相同层的 width 分组卷积,最终作者使用的是下图最右边的模型,更加简洁并且训练更快。
模型参数
调节 cardinality 时,如何保证和 ResNet 的参数个数一致呢?本文考虑的是调节 split-transform-merge 中间第二层卷积核的个数。
结论
- ResNeXt 与 ResNet 在相同参数个数情况下,训练时前者错误率更低,但下降速度差不多
- 相同参数情况下,增加 cardinality 比增加卷几个数更加有效
- 101 层的 ResNeXt 比 200 层的 ResNet 更好
- 几种 sota 的模型,ResNeXt 准确率最高
阅读全文
0 0
- 卷积神经网络——ResNeXt
- 初识——卷积神经网络
- 4——卷积神经网络
- 卷积神经网络——VGG
- 卷积神经网络——ResNet
- 卷积神经网络——DenseNet
- ResNeXt
- ResNeXt
- Theano入门——卷积神经网络
- 卷积神经网络CNN入门——代码
- 卷积神经网络——LeNet5为例
- 卷积神经网络——反向传播算法
- YJango的卷积神经网络——介绍
- YJango的卷积神经网络——介绍
- 卷积神经网络——LeNet-5
- 卷积神经网络——Network In Network
- 卷积神经网络——Wide ResNet
- 卷积神经网络经典模型——VGG
- 深度学习caffe框架(2): layer定义
- 在 Azure 机器学习工作室中创建第一个数据科研试验
- RPGMaker MV 插件基础05:获得注释内容与IIFE
- 17高软实验一报告
- nginx-config
- 卷积神经网络——ResNeXt
- 【python】yield用法入门
- Specific cuDNN installation
- 英语单词
- 字符串全排列
- 演练:开发预测分析解决方案,用于在 Azure 机器学习中评估信用风险
- 无名namespace
- codeforces 413E 线段树
- golang chanel