Hinton Neural Networks课程笔记1d：一个简单的机器学习实例

这里介绍一个用于识别数字的模型实例，输入是图像（即n个pixel），输出是数字类别。这里采用的模型是每个pixel对每个数字类别进行加权投票，最后票数多的类别获胜，其实就是一个线性函数。

那这里面有一个权重表示方法还是蛮有意思的，权重用和输入相同的一张图表示，位置对应于输入的pixel的位置，正负用黑白表示，权重绝对值大小用点的大小表示。这样就可以直观的查看权重了。
学习算法是一种早期机器学习常见的简单算法：输入数据对应的真值权重矩阵在输入的active区域增加，而对于输入数据的预测label对应的权重矩阵相应区域减少。

最后学习到一个模板，如下图：

最后Hinton提到，这种算法其实就是在去找一个模板，然后对于输入数据寻找和模板重合最多的数字类别输出。但对于手写数字而言，可变性极高，很难用一个模板来覆盖所有情况。