深层学习与浅层学习共同促进课堂学习

   

这段时间，我们一直在努力学习深度学习这份材料。12篇论文从不同角度阐释了深度学习的相关理论知识。

在刚接触深度学习这个概念时，一直觉得，它是与浅层学习相对立的，是学习的正反两面。深度学习要求学的是创造性、批判性的知识，而浅层学习则是一些机械的知识，甚至说是一些死记硬背的知识，是无效的学习。既然这样，我粗浅地认为，我们在课堂中就要提倡深度学习，摒弃浅层学习。

   
学完这份材料，我发现这个粗浅的理解真是大错特错了。浅层学习和深层学习是学习的两种方式，两者是一个单独的连续统一体，对于学习者来说，应根据自己学习过程中的实际情况选择合适的学习方法，在不同的时间里可以使用不同的学习方法。浅层学习是对信息的接收和短时记忆，需要外力驱动；深层学习是基于理解的学习，需要内部驱动。

   
当然，我们提倡课堂中学生能进行深度学习，能进行有效地思考、反思、追问，让知识在理解中化为己用，真正掌握。

主要参考文献：http://blog.csdn.net/zouxy09/article/details/8775360（从一到八）；http://www.csdn.net/article/2013-05-29/2815479

 从1980年代末期以来，机器学习的发展大致经历了两次浪潮：浅层学习（Shallow Learning）和深度学习（Deep Learning）。需要指出是，机器学习历史阶段的划分是一个仁者见仁，智者见智的事情，从不同的维度来看会得到不同的结论。这里我们是从机器学习模型的层次结构来看的。

需要指出是，机器学习历史阶段的划分是一个仁者见仁，智者见智的事情，从不同的维度来看会得到不同的结论。这里我们是从机器学习模型的层次结构来看的。

第一次浪潮：浅层学习

 80年代，用于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显示出优越性。这个时候的人工神经网络，虽然也被称作多层感知机（Multi-layer Perceptron），但实际上是一种只含有一层隐层节点的浅层模型。

 Deep learning本身算是machine learning的一个分支，简单可以理解为neural network的发展。在当时，neural network曾经是ML领域特别火热的一个方向，但是后来确慢慢淡出了，原因包括以下几个方面：

神经网络的问题：

 1）由于神经网络容易过拟合，参数比较难调，而且需要不少trick；

 2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优。

90年代，由于神经网络的问题，其他各种各样的浅层机器学习模型相继被提出，比如支撑向量机（SVM，Support Vector Machines）、Boosting、最大熵方法（例如LR， Logistic Regression逻辑回归）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型在无论是理论分析还是应用都获得了巨大的成功。

 但是，一个痴心的老先生Hinton，他坚持了下来，继续神经网络的相关研究，并最终（和其它人一起Bengio、Yann.lecun等）提成了一个实际可行的deep learning框架

 2006年，加拿大多伦多大学教授、机器学习领域泰斗——Geoffrey Hinton和他的学生Ruslan Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要的信息：

 1.多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；

 2.深度神经网络在训练上的难度，可以通过“逐层初始化”（Layer-wise Pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。

当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）

深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

因此，“深度模型”是手段，“特征学习”是目的。

区别于传统的浅层学习，深度学习的不同在于：

1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点

2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。

 自2006年以来，深度学习在学术界持续升温，进入机器学习的第二次浪潮深度学习。今天Google、微软、百度等知名的拥有大数据的高科技公司争相投入资源，占领深度学习的技术制高点，正是因为它们都看到了在大数据时代，更加复杂且更加强大的深度模型能深刻揭示海量数据里所承载的复杂而丰富的信息，并对未来或未知事件做更精准的预测。