深度学习原理与应用笔记

1绪论

如何开展深度学习的研究和应用开发

假设所有的操作都在配置好的Caffe根目录下执行：

• 准备数据
• 下载Caffe中已有模型
• 修改网络结构
• 加载已有模型训练自己的数据
• 调整学习率的完整过程：首先固定一个学习率的值，然后训练模型，直到验证准确率不再上升，可以尝试将学习率降低继续训练，反复调整学习率的值，直至训练出一个较好的深度模型。

2国内外深度学习技术研发现状及其产业化趋势

• Google TensorFlow TPU(Tensor Processing Unit) 据说TPU是GPU性能的10倍。
• Facebook 深度学习平台Torchnet 自然语言理解引擎DeepText。
• 百度 基于深度学习CNN-RNN的光学字符识别流程。针对在线广告，开发了DANOVA算法。以图搜图，语音识别DeepSpeech。深度学习平台MXNet，语音识别系统呢Wrap-CTC。
• 阿里巴巴 拍立淘 阿里小蜜
• 京东 客服机器人JDIMI
• 腾讯 深度学习平台Mariana DNN CNN Cluster
• 旷世科技Face++ 北京旷视科技有限公司是一家专注机器视觉和人工智能的极客技术公司，打造领先的人脸识别，图像识别，和深度学习技术服务云平台。旷视科技将致力于“先让机器看懂世界，再让机器真正思考”。
• Linkface Sensetime（商汤科技） 合并

3神经网络

激活函数 sigmoid 双曲线正切
神经网络结构比较复杂，容易造成过拟合，或者在误差后向传播的过程中产生梯度弥散现象。
后向传播算法
sigmoid
函数：f(x) = 1 / (1 + exp( − x))
导数：f(x)’ = f(x)(1 − f(x))