Hinton Neural Networks课程笔记2c：感知机的几何解释

此部分，Hinton从几何角度解释了感知机。这里不是使用权重作为超平面，输入数据作为空间内点的解释方式；相反，这里使用权重作为空间内点，每一维对应于一维权重，输入数据被看做constrain，限制合法权重的空间。
具体的，输入数据和权重维数相同（使用bias，而不是threshold），则每个输入数据可以对应于权重空间中的一个向量（起始点为原点），则对该数据的分类取决于权重向量（起始点为原点）和输入数据向量的夹角是锐角还是钝角；换种表示为，与输入数据垂直的超平面对权重空间做了划分，位于输入数据向量一侧的权重空间会把输入数据判为正样本，相反则会判为负样本。基于输入数据的真值，即可确定能够对输入数据正确分类的权重空间。
如下图所示，真值为1的输入数据，输入数据向量为图中蓝色箭头所示，与其垂直的超平面为黑色直线所示，因为真值为1，所以绿色箭头因与输入数据向量夹角为锐角，所以为合法权重空间，相反红色箭头所示权重为非法权重。

下图展示了输入数据真值为0的情况，则确定的合法权重空间相反：

多个输入数据，每个输入数据-真值对，都会对合法权重空间加以限制，最终满足所有输入数据限制的权重空间，其内对应的所有权重都可以将所有输入数据正确分类。因为所有的输入数据限制都是通过一个过原点的超平面划分，所以最终确定的合法权重空间必然是一个圆锥形。若输入数据线性可分，则必然存在一个合法权重空间，且合法权重无限；相反则不会出现此合法权重空间，即不存在某个权重可以正确分类所有输入数据。注意到合法空间是连续的，即任意两个合法权重的均值仍然是合法的，进而推出该问题是凸问题（convex）。
（label∗(w0→⋅x⃗ )>0∧label∗(w1→⋅x⃗ )>0⇒label∗(w0→+w1→2⋅x⃗ )>0）
下图展示了两个输入数据确定的合法权重空间：

---

一些有意思的点：
1. 2-D空间到3-D空间的拓展是很复杂的，Hinton还提到13-D到14-D的拓展同样复杂。
2. 原先看一些参考书都是在数据空间思考问题，把权重看做超平面；这里用权重空间思考，把输入数据看做对空间划分的限制；对笔者来说很新颖。
3. 空间连续==>凸问题，虽然还不能很好地利用这一结论，但感觉会蛮有用的。