Yoshua Bengio——《Deep Learning》学习笔记1
来源:互联网 发布:上海1943和老街知乎 编辑:程序博客网 时间:2024/06/12 01:30
版权声明:此为Yoshua Bengio的新书《Deep Learning》学习笔记,本文为博主在研究工作中经验分享,包括学习笔记、摘录、研究成果,以便以后工作参考之用,欢迎交流和批评;其中参考资料的标注难免会有疏漏之处,以及其它欠妥之处,如有请告知,立马更正,致歉,谢谢;未经博主允许不得转载。
第一章 前言
机器学习(machine learning): AI 系统需要具备自己获取知识的能力,即从原始数据中提取模式的能力。这种能力被称为 机器学习(machine learning)。
简单的机器学习算法的性能在很大程度上依赖于给定数据的表示(representation)。
表示学习(representation learning):使用机器学习来发掘表示本身,而不仅仅把表示映射到输出。这种方法我们称之为 表示学习(representation learning)。学习到的表示往往比手动设计的表示表现得更好。并且它们只需最少的人工干预,就能让AI系统迅速适应新的任务。 表示学习算法只需几分钟就可以为简单的任务发现一个很好的特征集,对于复杂任务则需要几小时到几个月。手动为一个复杂的任务设计特征需要耗费大量的人工时间和精力;甚至需要花费整个社群研究人员几十年的时间。
表示学习算法的经典例子是 自编码器--autoencoder,自编码器由一个编码器--encoder 和一个解码器--decoder 函数组成。
深度学习( deep learning )通过其他较简单的表示来表达复杂表示,解决了表示学习中的核心问题。
深度学习的典型例子是前馈深度网络或者多层感知机(multilayer perceptron, MLP)。
学习数据的正确表示的想法是解释深度学习的一个视角。另一个视角是深度促使计算机学习一个多步骤的计算机程序。
目前主要有梁总度量模型深度的方式:1、基于评估架构所需执行的顺序指令的数目;2、是在深度概率模型中使用的方法,它不是将计算图的深度视为模型深度,而是将描述概念彼此如何关联的图的深度视为模型深度。
由于并不总是清楚计算图的深度或概率模型图的深度哪一个是最有意义的,并且由于不同的人选择不同的最小元素集来构建相应的图,因此就像计算机程序的长度不存在单一的正确值一样,架构的深度也不存在单一的正确值。另外,也不存在模型多么深才能被修饰为 ‘‘深’’ 的共识。但相比传统机器学习, 深度学习研究的模型涉及更多学到功能或学到概念的组合,这点毋庸置疑。
AI > Machine learning > representation learning 表示学习 > deep learning 深度学习
AI 的例子: knowledge bases 知识库
Machine learning 的例子: logistic regression 逻辑回归
representation learning 的例子: shallow autoencoder 浅层自编码器
deep learning 的例子: MLP
图1.5 流程图展示了AI系统的不同部分如何在不同的AI 学科中彼此相关
- Yoshua Bengio——《Deep Learning》学习笔记1
- Deep Learning Yoshua Bengio
- Yoshua Bengio新书《Deep Learning》深度学习(中文)学习笔记(improving)
- 深度学习(Deep Learning) Yoshua Bengio & Ian GoodFellow中文版
- Bengio <Deep Learning> 笔记
- Deep Learning (Ian Goodfellow, Yoshua Bengio and Aaron Courville) 阅读笔记
- 关于Yann LeCun, Yoshua Bengio & Geoffrey Hinton 的Deep Learning 学习摘要
- Deep Learning (Yoshua Bengio, Ian Goodfellow, Aaron Courville) 翻译 Part 1
- Bengio Deep Learning 初探 —— 第1-4章
- Yoshua Bengio等大神传授:26条深度学习经验26 Things I Learned in the Deep Learning Summer School
- Deep Learning学习笔记——1
- Bengio Deep Learning 初探 —— 第5章:机器学习基础
- Deep Learning (Yoshua Bengio, Ian Goodfellow, Aaron Courville) 翻译 Part 2 第6章
- Deep Learning (Yoshua Bengio, Ian Goodfellow, Aaron Courville) 翻译 Part 2 第6章
- Deep Learning学习笔记——线性代数
- 《deep learning》学习笔记(1)——引言
- 论文笔记:Deep Learning [nature review by Lecun, Bengio, & Hinton]
- 深度学习大牛Yoshua Bengio
- Evaluate Reverse Polish Notation--LeetCode
- jdbc的事务管理,连接池的概念
- HDU
- 三周第二次课 2017.10.31 usermod命令、用户密码管理、mkpasswd命令
- Android事件分发机制源码阅读
- Yoshua Bengio——《Deep Learning》学习笔记1
- 模拟计算器
- NOIP模拟10.31
- 【PHP】如何优雅的杀死PHP的死循环(常驻进程)
- IO
- CSS3选择器
- java学习第41天,栈 MAP
- SSH:利用Struts2+Hibernate4+Spring4+SQLServer框架,搭建一个前后端web网站(4)
- 判断输入学生成绩是否有效并判断等级