神经网络入门-感知器算法

神经网络介绍

单位阶跃函数

在我们深入研究用于学习人工神经元权值的算法之前，让我们来看一个简短的基本符号output。在下面几节中，我们将二值分类中的“正类”和“零类”，分别表示为“1”和“0”。然后，定义一个激活函数output ，其输入为输入值x和权重w的线性组合（）。并且，如果output 大于预定阈值threshold ，预测为1，反之则为0；在这种情况下，这个激活函数output是一个简单的“单位阶跃函数”，有时也被称为“Heaviside阶跃函数”。

感知器算法权重和阈值的训练

其中，最困难的部分就是确定权重（w）和阈值（b）。目前为止，这两个值都是主观给出的，但现实中很难估计它们的值，必需有一种方法，可以找出答案。
这种方法就是试错法。其他参数都不变，w（或b）的微小变动，记作Δw（或Δb），然后观察输出有什么变化。不断重复这个过程，直至得到对应最精确输出的那组w和b，就是我们要的值。这个过程称为模型的训练。

感知器算法训练步骤

可以看到，如果样本的正确分类和感知器计算出来的分来是一样的，那么计算出来的w的偏差就为0，权重就不用更新，只有感知器得到错误的结果，才需要更新权重向量。学习率也是主观设置的，也是需要调整的。阈值最开始设置为w(0)，每次计算后动态更新值。


然后根据新的权重和新的阈值重新分类，重新计算权重，直到感知器能够正确的分类样本。

感知器算法适用性

数据是可以线性分割的。算出来的权重可以理解为中间的分割线。

算法总结

参考资料：http://www.imooc.com/learn/813