如何得到比AlexNet更简单但是性能更好的网络？

可从以下几个方面思考：

1.conv1层卷积核从11×11缩小到9×9,更小的卷积核可以提取更精细的特征。conv2,conv3的输出节点数由256减少至192，pad由2减少为1。每次pooling，后面输出×2。

2.删除所有的LRN层：LRN层的参数设置需要经过交叉验证，同时实践也证明，经过恰当的参数初始化并使用类似于BatchNormalization的归一化操作之后，LRN层对提升网络的范化能力并无增益。

3.删除Group操作。AlexNet采用Group操作是为了利用两块显卡进行并行训练，而目前已经有更好的方法。

4.大小为5×5卷积核拆分为两层的3×3的卷积核，网络深度增加的同时没有增加计算量

5.第二个全连接层的节点数从4096调整为2048

6.总的来说，把网络变深变瘦，高瘦的网络性能一般优于矮胖的网络，性能不够，加层来凑

7.大网络导致的收敛困难可以通过BatchNormalization和ResidualNet来解决（1001层网络成为现实）

8.有的实际问题并不是总需要大规模的网络，甚至不一定需要dl