深度学习第五天: 看知网论文.md

cifar-10数据集
http://www.cs.toronto.edu/~kriz/cifar.html

论文组织结构

• 绪论
  主要讲背景意义，国内外现状，本文工作内容，本文结构安排
• 技术分析
  
  1. 反向传播
  2. 卷积和下采样
  3. 分类技术(预处理，特征提取，分类方法)
• 模型设计
  LeNet, AlexNet
• 模型优化
  
  1. relu代理sigmoid （f(x) = max(0,x)）
  2. 高斯分布初始化网络结构参数
     缩短训练时间。
  3. dropout防止训练样本不足，过拟合
  4. 正则化约束，权重衰减，防止过拟合
  5. maxout
  6. 随机下采样
  7. momentum
• 系统demo
  训练，识别

一些trick
http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html
batch normalization的实现
https://github.com/shuuki4/Batch-Normalization/blob/master/BatchNormalization.py