深度学习笔记(1)

来源:互联网 发布:淘宝开店系统异常 编辑:程序博客网 时间:2024/05/17 22:25

1.iter和Epoch的区别
iter是狭义的循环一次,依据算法的不同有不同的含义,在神经网络上如果使用patch进行训练,那么就会是一个patch一个iter,也就是利用一个patch进行一次前向传播和一次后向传播。
Epoch 是使用所有的训练样本集进行一次前向传播和后向传播来进行训练的。
2.交叉熵的问题
3.softmax函数就是多分类的sigmoid函数,如果某个分量大过其他所有分量,那么这个分量的概率就逼近1,其他的逼近于0

0 0
原创粉丝点击