deep learning 初记
来源:互联网 发布:电子书制作软件安卓版 编辑:程序博客网 时间:2024/05/11 03:29
为了理解为什么大数据需要深度模型,先举一个例子。语音识别已经是一个大数据的机器学习问题,在其声学建模部分,通常面临的是十亿到千亿级别的训练样本。在Google的一个语音识别实验中,发现训练后的DNN对训练样本和测试样本的预测误差基本相当。这是非常违反常识的,因为通常模型在训练样本上的预测误差会显著小于测试样本。因此,只有一个解释,就是由于大数据里含有丰富的信息维度,即便是DNN这样的高容量复杂模型也是处于欠拟合的状态,更不必说传统的GMM声学模型了。所以从这个例子中我们看出,大数据需要深度学习。
浅层模型有一个重要特点,就是假设靠人工经验来抽取样本的特征,而强调模型主要是负责分类或预测。在模型的运用不出差错的前提下(如假设互联网公司聘请的是机器学习的专家),特征的好坏就成为整个系统性能的瓶颈。因此,通常一个开发团队中更多的人力是投入到发掘更好的特征上去的。要发现一个好的特征,就要求开发人员对待解决的问题要有很深入的理解。而达到这个程度,往往需要反复地摸索,甚至是数年磨一剑。因此,人工设计样本特征,不是一个可扩展的途径。
深度学习的实质,是通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。所以“深度模型”是手段,“特征学习”是目的。区别于传统的浅层学习,深度学习的不同在于:1. 强调了模型结构的深度,通常有5层、6层,甚至10多层的隐层节点;2. 明确突出了特征学习的重要性,也就是说,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,使分类或预测更加容易。
与人工规则构造特征的方法相比,利用大数据来学习特征,更能刻画数据丰富的内在信息。所以,在未来的几年里,我们将看到越来越多的例子:深度模型应用于大数据,而不是浅层的线性模型。
- deep learning 初记
- Deep learning
- deep learning
- 【deep learning】
- Deep Learning
- Deep Learning
- deep learning
- Deep learning
- deep learning
- Deep Learning
- Deep Learning
- 【deep learning】
- deep learning
- deep learning
- Deep Learning
- Deep Learning
- Deep Learning
- Deep Learning
- 关于mysql master-slave模式DB服务器的问题发生与解决
- 黑马程序员——银行业务调度系统
- 解决No Hibernate Session bound to thread, and configuration does not allow create tansactional的问题
- 带着忧伤去旅行
- uva - 1232
- deep learning 初记
- 平衡二叉查找树(AVL)的查找,插入,删除
- codeforces round1 p1
- Qt跨线程发送信号与元数据
- fastboot的使用方法
- Java4Android类和对象的初始化详解
- Android下拉刷新 (手把手教你)
- 0欧电阻的作用
- STL algorithm算法nth_elements(41)