宝宝攻略(2) 神经网络向量化

考虑一个三层网络(一个输入层、一个隐含层、以及一个输出层)，并且假定x是包含一个单一训练样本x(i)∈Rn的列向量。则向量化的正向传播步骤如下：

z(2)a(2)z(3)=W(1)x+b(1)=f(z(2))=W(2)a(2)+b(2)

这对于单一训练样本而言是非常有效的一种实现，但是当我们需要处理m个训练样本时，则需要把如上步骤放入一个for循环中。

这段话究竟是什么意思呢？首先它定义了一个三层的网络，这个网络长相如下。

我们每次是放一个样本xi进入这个网络，且这个xi是一个一维的张量，长度为n。我们表示为xi=(xi1,xi2,...,xin)。如果在上面这个图上呢，n就为3。所以首先第一点，一个样本xi，它不是只有一个数，那叫做标量，而是一个向量，或者说是一维张量。