台湾大学深度学习课程 学习笔记 lecture1-1 Introduction

以下内容和图片均来自台湾大学深度学习课程。
课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html

机器学习介绍

引入机器学习理论方法

1. Programs can do the things you ask them to do
2. Some tasks are complex, and we don’t know how to write a program to solve them.
3. Given a large amount of data, the machine learns what the function f should be.
4. Training is to pick the best function given the observed dataTesting is to predict the label using the learned function.

机器学习框架

给出大量的Training Data，找出一个最好的Function f 。并使用这个找出的 f 对Testing Data进行预测，计算出 y 。

深度学习 Deep Learning

深度学习是机器学习的一种方法。

End-to-end training: what each function should do is learned automatically.
给出一端（训练数据x）与另一端（标签结果y），深度学习会自动的训练模型中的每一个Function f 。

深度学习是神经网络模型。

深度学习的优势

例如在语音识别领域，普通的机器学习方法，需要对语音识别专业领域的各种方法有所了解，然后一步一步进行。但是深度学习方法，只需把数据的input和output整理好，不需要深入了解该领域的专业知识，神经网络即可自动进行学习。
下图表示普通的机器学习方法与深度学习方法。前者需要更复杂的人工操作，后者则能自动进行计算各个f 。

人工操作过程中，在使用专业知识进行筛选和划分等操作的过程中不可避免的对数据产生了干扰，使得最后的结果不能完全利用原始数据，而是让机器按照人的思路去工作。但在深度学习模型中，只需将数据放入神经网络中，模型即可自动的学习并计算出各个f ，减少工作量，使训练变的简单，最重要的是，没有人工对原始数据的干扰，结果更准确。

上述道理同样适用于图像识别。

深度学习方法

从神经元到神经网络

神经网络受人类神经元的方法的启发，同样是神经元之间的传递。

神经网络中的单个神经元原理如下：

x1,x2⋅⋅⋅xN 为输入数据，是一个向量，每个对应的x 都赋予一个权重 w ，加上偏差（bias） b 带入线性公式 z=wx+b ，将 z 继续经过激活函数（Activation function） σ(z)=11+e−z 得到y 。
此处的激活函数是Logistic Regression中的 Sigmoid 函数，作用是进行非线性转换。

上面是一个神经元的原理，大量的神经元联合起来组成神经网络。

深度学习的历史

上图是神经网络的发展历史，早期由于数据量和计算技术的限制，没有得到广泛应用。由于近年来大数据爆炸级的增长，GPU的技术发展等原因，深度学习火了起来。

神经网络结构的选择

上图中同样参数数量，该选择哪个结构效果更好？
看看下面的实验结果。

根据上面的两种不同结构（浅层较“胖”vs 深层较“瘦”）设计手写数字识别模型实验。可以看出在相同准确率的情况下，深层较“瘦”的模型需要更少的参数。因为深层较“瘦”复杂度更高，所以相同参数数量时效果更好。

深度学习应用

拥有的数据可能是：词，句子，图像，音频，用户操作日志等信息。如果需要对其进行分类或者预测某些特性。进行训练前，可能需要将其转化为 word sequence，图像像素信息，音频信号等数字信息。利用如CNN，RNN等方法，得到最终结果。