深度学习Day2(神经网络的基础编程)

02深度学习笔记
神经网络的基础编程Basics of Neural Network programing

接触一些新的专业术语
学会如何处理训练集

前向暂停forward pause
前向传播forward propagation

反向暂停backward pause
反向传播backward propagation（在判别学习中使用它）

逻辑回归logistic regression是一个用于二分类binary classification的算法
y冒 对实际值y的预测

预测图片中是否有猫
将不同训练集样本的数据提取出来，然后就像刚刚我们对x和y所作的那样，将他们堆叠在矩

阵的列中，形成我们之后会在逻辑回归和神经网络上要用到的符号表示。

玻尔兹曼机，可以应用于很大很密集的网络，你只会看到几个结点，它会学习隐藏的表示。
无监督学习：Wake-Sleep算法
监督学习，是区分性训练Discriminative training，使用有标签的数据。

不要停止编程。

进行不顺时，推导为什么它不work。
符号约定

sigmoid

Logistic Regression cost function 逻辑回归模型代价函数
损失函数loss function或叫做误差函数error function

定义损失为y冒和y的平方差或者他们平方差的一半
多个局部优先值

一个不同的损失函数，它起着与平方误差相似的作用，这些会给我们一个凸的优化目标