机器学习3下

3.2  linearly inseparable

    这是个linearly inseparable的例子，数据集对应的向量不可被一个超平面区分开。

解决此问题需要两个步骤：

1、利用一个非线性的映射把原数据集中的向量点转化到一个更高维度的空间中。

2、在这个高纬度的空间中找一个线性的超平面来根据线性可分的情况处理。

例如下图

例子：

       三维输入向量  ：X={x1.x2.x3}

       转化到六维空间Z中去：φ1(x)=x1 ,φ2(x)=x2,φ3(x)=x3,

                                          φ4(x)=(x1)^2,φ5(x)=x1x2,φ6(x)=x1x3

      新的决策超平面 d(Z)=WZ+d

      其中W和Z是向量，这个超平面是线性的

      解出W和b之后带入原方程

          d(Z)=W1x1+W2x2+W3x3+W4(x1)^2+W5x1x2+W6x1x3+b

                =W1Z1+W2Z2+W3Z3+W4Z4+W5Z5+W6Z6+b