调参

来源:互联网 发布:算法的概念一等奖ppt 编辑:程序博客网 时间:2024/05/16 01:24
Batch_Size 太小,算法在 200 epoches 内不收敛。

随着 Batch_Size 增大,处理相同数据量的速度越快,但是达到相同精度所需要的 epoch 数量越来越多。

这在时间上四个矛盾, 因此存在Batch_Size 增大到某个时候,达到时间上的最优。

由于最终收敛精度会陷入不同的局部极值,因此 Batch_Size 增大到某些时候,达到最终收敛精度上的最优。
0 0
原创粉丝点击