FIRST TOUCH

CSDN 似乎不识别 Markdown Math。。

References

Udacity 深度学习课程

TensorFlow 官方文档中文版

从机器学习到深度学习

监督学习

WX + b = Y

逻辑回归分类器 logostic classifier

softmax(y_i) = \frac{e^{y_i}}{\sum_{j}(e^{y_j})}

One-Hot 编码 one-hot encoding

交叉熵 cross-entropy

多项式分布逻辑回归分类器 Multinomial Logistic Classification

D(S(WX+b), L)

最小化交叉熵

Loss = average cross-entropy

Loss = \frac{1}{N} \sum_iD(S(WX_i+b), L_i)

梯度下降 Gradient Decent

偏导数取得最小化 Loss

正则化输入与初始权重

模型性能评估

training => validation => test

Kaggle challenge

过拟合和数据集大小

验证集和测试集大小

随机梯度下降法 stochastic gradient descent 【S.G.D】

随机抽查 => 深度学习的核心

动量法与使用学习率调节下降

超空间参数

Adagrad

深度神经网络

线性模型的局限性

线性整流函数 ReLUs 网络

Nearal Network

两层神经网络

1. 第一层由一组 X 的权重和偏差组成并通过 ReLU 函数激活。这一层的输出会提供给下一层，但是在神经网络的外部不可见，因此被称为隐藏层。
2. 第二层由隐藏层的权重和偏差组成，隐藏层的输入即为第一层的输出，然后由 softmax 函数来生成概率。

链式法则 chain rule

[g(f(x))]' = g'(f(x)) * f'(x)

反向传播 back-propogation

卷积神经网络

统计不变性

• weight sharing 权重共享
• translation invariance 平移不变性

卷积网络 Convolutions

Average Pooling

1*1 convolutions

文本和序列的深度模型

tSNE

word2vec

RNNs

反向传播时间

梯度消失／爆炸

LSTM

正则化

定向选择 BEAM SEARCH