文章标题

Forward 和Backward

举个例子：logistic regression

在forward 方向，caffee通过给定的input来计算output，在forward方向中，caffee通过把各个层的计算结果组合起来来形成一个函数，如下图所示

而在backward方向中，caffee会通过联合每一层的loss的梯度向量来计算出整个模型的loss梯度向量，这是一个反向的过程，loss会从顶走到底。流程图如下

这些步骤可以有Net::Forward(),Net::Backward来进行架构，并由Layer::Forward和Layer::Backward来进行每一步的实施。每一种层类型都可以通过forward_{cpu,gpu}或backward_{cpu,gpu}来进行定义