Tensorflow

学习链接

1. 干货 | TensorFlow的55个经典案例

基本概念

计算机视觉比赛 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)使用的数据集都来自ImageNet，其拥有1500w张标注过的高清图片，22000类别，100w标注了定位边框。每年度 ILSVRC比赛数据集拥有120w图片。ILSVRC 2015年冠军152层ResNet在ImageNet 上的错误率达到3.57%超过人类，说明卷积神经网络基本解决了ImageNet数据集上的图片分类问题。

梯度弥散

梯度下降法（以及相关的L-BFGS算法等）在使用随机初始化权重的深度网络上效果不好的技术原因是：梯度会变得非常小。具体而言，当使用反向传播方法计算导数的时候，随着网络的深度的增加，反向传播的梯度（从输出层到网络的最初几层）的幅度值会急剧地减小。结果就造成了整体的损失函数相对于最初几层的权重的导数非常小。这样，当使用梯度下降法的时候，最初几层的权重变化非常缓慢，以至于它们不能够从样本中进行有效的学习。这种问题通常被称为“梯度的弥散”.

浅层学习（Shallow Learning）

Mnist

MNIST数据集解析

AlexNet

VGGNet

VGGNet(Visual Geometry Group)探索了CNN的深度与其性能直接的关系，成功的构筑了16~19层深的CNN。获得了2014年 ILSVRC比赛分类项目第二名和定位项目第一名，用来提取图像特征泛化性好。idea：全部使用3*3kernel和2*2maxpooling，不断加深网络提升性能。卷积消耗参数量较小，但卷积训练较耗时（反馈梯度计算）。1*1conv 主要在于线性变换没有降维，没有3*3conv好。