ML_Note:NeuralNetwork1_representation

问题引入

当多分类问题的假设函数(hypothesis)为非线性(non-linear)的时候，他的训练代价是非常显著的，具体来说对于n特征的产生r次的代价为 (n+r−1)!r!(n−1)! 代价是 O(nr),所以我们采取一种新的方法，就是这次要介绍的:神经网络(Neural Networks),简称NN.

Model Representation

这张图的表示是最为清楚了的.特别指出几个概念.

a(j)i,jth 层的 ith 个单元，类比神经元.

Θ(j) 从 jth 层到 (j+1)(th) 的权重矩阵.

g(z)=11+e−z sigmoid function.

图片中的 x0 表示的是偏置(bias)单元.他的值恒为 1 这是为了常数的需要.更进一步，如果把输入层 X 看作 a(1) ，那麽对于每一层都有一个偏置单元 a(j)0. 然后信息一层一层的往后传就像，大脑的神经网络工作一样.传播的‘ 方式 ’是

a(j+1)=g(Θj∗(ones:a(j))) (在距阵 a(j) 的每一行前面添加 1).

Multiclass Classification

对于多分类问题，只需要将最后的输出向量表示成

⎡⎣⎢⎢⎢⎢hθ(x(i))1hθ(x(i))2⋮hθ(x(i))nlable⎤⎦⎥⎥⎥⎥

然后选择最大的标签值 hθ(x(i)) 作为输出，表示样例 x(i) 为 ith 类.与前面的多类输出是一样的.

例子：识别数字

这是用神经网络做的一个数字识别系统，其中训练数据是已知的

源码

详细笔记参见第4周