MN的MNISTdemo感悟

流程：

1、读取数据集：训练、测试。为了随机梯度下降法SGD，将训练样本大小为mini_batch的小样本集。

2、训练神经网络模型（W,b）

for  x,y in batch：

a、获得正向传播的各神经元激励值

b、计算输出层的代价偏导数，计算输出层残差

c、通过反向递推获得各神经元残差，计算代价偏导数的变化量

d、累积各样本偏导偏差量对代价偏导数的影响

遍历完batch的样本，得到偏导数，借此修改W，b的值。

for batch in batchs

获得最终的W，b，即为神经网络模型

3、修改超参数，以获得最优模型