解释 Neural Network 的 Output 公式

下面这道公式， 出自于Making Your Own Neural Network这本书。 是在讲3 Layer Neural Network， 第三层其中一个Node的Output值。 

刚开始看， 觉得难懂，后来，想通了。 其实， 很简单。我们以程序员的角度， 来想这个问题。 什么是程序员的角度？就是把复杂度问题拆为几个简单的小问题。 拿一个Neural Node为例子。 Node会有几个Input和几个Output。假设只有一个Input和一个Output。如下图：

对这个Input， 先乘上Weight, W，然后进行Sigmoid运算， 得到Output。 S为Sigmoid运算， 如下：

接下来，我们把3个Node， 接在一起， 成为3 Layer Neural Network， 但只有一条线串在一起。

因为第一層Node， 不其作用， Output = Input。第二層， 第三層， 会作Weight和Sigmoid运算。 合并起来， 就是下面这道公式。 

O = S (W3 * S (W2 * I))

把S展开来， 就是本篇一开始的那道公式。 

-Count