FLOPS和吞吐率

throughput: 吞吐率

FLOPS(Float Operations Per Second):每秒浮点运算量

吞吐率就如同你家里的水管, 每秒可以流出多少立方的水
每秒浮点计算数(flops)也是衡量吞吐率的一个单位, 通过折算到具体的浮点操作数量上.

假设有m * n的矩阵A, 和n * o的矩阵B, 则最终会形成m * o的矩阵C (C = A * B)
其中n是A的宽度, 也是B的高度.

最终总的运算量需要m * o * n次乘加.
将1次乘加看成两次运算(一次乘法, 一次加法),
则最终需要 2 * m * o * n次运算, 这是总的浮点数运算量.

浮点数运算量(Float Operations, FLO)有了, 则每秒浮点运算量(Float Operations Per Second, FLOPS)等于浮点数运算量除以时间.