DeepLearning tutorial（1）Softmax回归原理简介+代码详解

DeepLearning tutorial（1）Softmax回归原理简介+代码详解

http://blog.csdn.net/u012162613/article/details/43157801

http://blog.csdn.net/google19890102/article/details/48976021

深度学习中的 Batch_Size:批梯度下降法（Mini-batches Learning）

在合理范围内，增大 Batch_Size 有何好处？

• 内存利用率提高了，大矩阵乘法的并行化效率提高。跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。
• Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。