关于《Yann LeCun：已解决CIFAR-10，目标 ImageNet》采访的总结

CSDN翻译链接
kaggle英文链接

对这篇采访的总结如下：

1. 日本学者 Kunihiko Fukushima 提出的神经认知机（NeoCognitron）对CNN的发展有着启迪性的意义，其提到模式识别机制的自组织神经网络模型不受位置变化的影响。
2. 在一个实际的应用中，没人关心训练到底要花多长时间，人们只关心运行需要多久。最终的核心机器是那些执行“美化模版匹配”的浅层网络。
3. idea：光谱卷积网络，这是在ICLR 2014上我在纽约大学实验室的同侪发布的一篇论文，课题是广义化的卷积网络可以适用于任意图像（规则的卷积网络可以适用于1D，2D或3D数组，按图像可以被看成规则网格）的确还存在一些实际的问题，但是它开启了一扇大门，让我们看到了通往卷积网络非结构化数据的更多应用方向。《光谱网络与图形方面的深度本地连接网络》
4. CIFAR-10现在的错误率最好为4.47%，人类的错误率为6%，当时的LeCun就说，相比CIFAR-10现下人们对于 ImageNet （图像识别目前最大的数据库）更感兴趣。（补一句：我自己用VGG在cifar10数据集上finetune,最好的精度在90%，待更新）
5. 对于深层学习网络真的需要那么深么这个问题？LeCun认为，尝试通过浅层网络训练来模拟在ImageNet上训练过的深层卷积网络，你会发现，理论上深层学习网络可以与浅层的相接近，但是在复杂的任务上，浅层网络相距甚远。（我也人为，对于简单的任务来说，网络的深度没必要那么深，但是，对于复杂的任务来说，深度是必须要的，实际应用中，对于简单的任务，可以通过模型蒸馏等一些方法来使得浅层的网络和深层网络有同样的精度）
6. 深层神经网络损失函数的收敛性证明（或保证），就有一点复杂了。多层网的损失函数不是凸值，因此简易证明该函数为凸不可行。但是我们都知道实际上卷积网络几乎总是会收敛到同一水平，无论起点是什么（如果初始化完成正确）。有理论证明，有许许多多等效局部最小值，还有一个数字很小的“坏”局部最小值。因此收敛性并不会造成问题。