DeepLearning--Part3--Chapter16:Representation Learning(1) categories:
来源:互联网 发布:淘宝流量钱包流量充值 编辑:程序博客网 时间:2024/06/06 02:48
-Chapter 16: Representation Learning
什么是好的Representation?有很多种可能的答案,这也是一个在以后的研究中还需要进行探索的问题。在本书中,我们给Representation下的定义则是Representation Learning能够使加下来的Learning task变得更加的简单。In an unsupervised learning setting, this could mean that the joint distribution of the different elements of the representation (e.g., elements of the representation vector h) is one that is easy to model (e.g., in the extreme, these elements are marginally independent of each other).但这并不够: 一个丢弃的所有信息的Representation(例如给定一个inputx,使Representation h=0)很容易建模,但是这对模型无用。因此,我们需要我们学习到的Representation既能够保留住信息的(至少能够保留住在对supervised阶段有益的信息),并且能够使得其他模型能够简单高效的从这些Representation中获取到对其有用,感兴趣的信息。
在Chapter 1中,我们介绍了Representation的概念,其中有一个idea是一些Representations会比其他的要好一些(例如给图片中的目标或者语音中的音素分类)。正如Chapter 1中讨论的,表明通过优化原始数据映射到Representation的方程的这种系统性的方法,要比handcrafting要好。基于这个动机,Section 6.7讨论了如何学习到输入数据的features,学习到input的features也是现在的前向深度神经网络的一个“副作用”(Chapter 6),特别是对于supervised Learning,通过匹配的(input,target)组合,能够直接获取到提升当前task performance的Representation。
本书的作者认为以后研究以及工业应用会主要集中在unsupervised learning of representation。
那么,我们如何从无标签或者少数有标签的数据中挖掘出信息呢?单纯的监督算法在少量的有标签数据上学习容易造成overfit。但另一方面, 人类(或者其他动物)却能够从少量的例子(有标签数据)中学习。 这在于他们先前获取到了足够的知识, 或者依靠直觉, 以及之前的学习经验(这个更符合人类)。 我们能够从无标签数据中发现好的Representation嘛(first four section in this Chapter)? 我们能把无标签数据和有标签数据结合起来吗(semi-supervised Section 16.3)? 如何将相同的Representation应用在多个任务中(multi-task Section 7.12)。 What
if we have “training tasks” (on which enough labeled examples are available) as well as “test tasks” (not known at the time of learning the representation, and for which only very few labeled examples will be provided)? 如果test task相似, 但是train task不相似(transfer learning, domain adaptation Section 16.2), 又该如何呢?
16.1 : Greedy Layerwise Unsupervised Pre-Training
无监督学习在深度神经网络的复兴中扮演了一个很重要的历史角色, 它使得训练深度监督网络成为可能。 我们把这类流程成为unsupervised pre-training(无监督预训练), 或者更确切的说, 贪心逐层无监督预训练, 这是这个Section的主要讨论内容。
一开始深度监督网络的成功秘诀依赖于这部分提及到的一些单层的Representation Learning算法: 比如Autoencoder, RBM。 每一层都通过无监督算法进行预训练, 将上一层的输出作为输入的新Representation, 其概率分布是相似的。
基于无监督训练的贪心逐层训练标准很好地克服了训练深度监督网络的困难, 这种方法可以追溯到Neocognitron(Fukushima, 1975), 贪心逐层训练被发现可以找到训练深度监督网络的好的初始点, 在学术上, 运用这种策略打破了SVM算法的benchmark。
被称为逐层是因为训练时一次只会训练一层, 训练第k层时,前面所有层的Weights会保持不变。 被称为无监督是因为每一层都是使用无监督Representation算法进行训练。 被称为贪心是因为不同层的training objective是不一样的,不同于global training objective,而global training objective会造成局部最优。
- DeepLearning--Part3--Chapter16:Representation Learning(1) categories:
- What is representation learning?
- representation learning 表示学习
- Learning world representation
- Predictive learning vs. representation learning
- 文章1-Deep Learning Face Representation by Joint Identification-Verification
- Machine Learning part3---特征工程
- Machine Learning:Neural Network---Representation
- Learning Face Representation from Scratch
- 论文提要“Learning Deepface Representation”
- Deep learning: Learning multiple layers of representation
- Categories
- Categories
- Categories
- Categories
- Udacity DEEPLEARNING 学习笔记 L1 Mechine Learning to DeepLearning
- FaceID-1:Deep Learning Face Representation from Predicting 10,000 Classes 笔记
- [Machine Learning][inrial lecture] and Category Representation
- DeepLearning--Part2--Chapter6:Feedforward-Deep-Networks(1)
- BigDecimal使用以及异常处理
- n-1 个数中三个数乘积最大的最小公倍数
- 51nod 1347 旋转字符串
- UIActivityViewController头文件学习
- DeepLearning--Part3--Chapter16:Representation Learning(1) categories:
- JAVA帮助文档全系列说明
- sqlite3 笔记整理
- tomcat单个ip配置多个域名及配置用户角色查看服务器状态
- hdu2196(树的直径)
- postgresql主备之the database system is starting up
- 算法题目一:如果数组中数字重复最多的次数大于数组长度的一半,返回1,否则返回0
- 物理地址、逻辑地址
- [手游新项目历程]第13天-游戏玩家怪物移动同步