复旦大学吴立德《深度学习》课程总结

对深度学习一直没找到系统的中文资料，在优酷找到了吴立德老师2013年开的深度学习课程视频。花三天简单看了一下，做一个简单总结，供没看过的人士参考要不要看及要看哪几集。此课程一共十四个课时

视频地址：http://www.youku.com/playlist_show/id_21508721.html

Part1 基础知识（1-3节）

1 概述

讲了ML的问题的三个基本方面：数据、模型和准则。准则可以理解为模型的优化目标。

此后全文对每个模型的讲解都是从这三个方面来讲。

深度学习（DL）的最大困难：可训练参数太多，非凸优化，解释困难（可以通过可视化手段改善）。

深度学习成功的运用场景：语音识别和目标识别。在NLP中达到了传统方法的效果。

解决DL学习问题的三种手段：卷积（褶积）神经网络（CNN），限制玻尔兹曼机（RBM）和自动编码机（AE）

2 前馈神经网BP算法

主要讲解了传统神经网络的训练方法，对梯度下降法进行了详细说明。对BP算法进行了细致的推倒。

3 学习优化问题&稀疏编码

前半部学习优化问题主要搭建了多层神经网络的框架。

后半部介绍了稀疏编码的思想和相对应的准则。

Part2 深度学习理论（4-9节）

4 DN&&DL

DN是一个深度的前馈神经网络（FNN）+分类器。

先讲了线性回归、logistic回归和SVM分类器三种分类手段。

DL面临的主要问题：参数多、非凸、梯度弥散。

5 自编码器&&逐层学习

DL的第一种实现方法：自编码器。每层使用一个三层的前馈神经网络，令输入和输出相同来实现自编码器。

步骤：先利用自编码器做预学习，再利用监督学习做微调。

6 自编码器&&RBM

本文基本是按照课上所说文章《Reducing the dimensionality with neural networks》来讲的

限制玻尔兹曼机的概率分布计算方法。

7 基于RBM的DL方法

基于RBM的深度学习网络的构建。

8 CNN卷积神经网络

这一课主要是图解，没有复杂的公式，也没有讲参数的推导方法。

9 复习总结

Part3 应用

10-12 自然语言处理

10 神经概率语言模型

使用神经网络做自然语言处理的方法，只用到一般的神经网络。

11 几乎无需语言知识的自然语言处理

窗口方法，与第12节的句子方法相对应。

12 句子模型方法

13-14 图像识别，其中13为有监督识别，14为无监督识别

13 深度褶积网

14 大规模无监督高层特征构建