SVDD(Support Vector Domain Description) 支持向量数据域描述（1）

来源：互联网发布：playclub大神捏脸数据编辑：程序博客网时间：2024/06/05 05:14

在学习SVDD的相关知识的时候，发现网上关于SVDD的中文资料不是很多，所以想和大家一下自己学习SVDD的学习历程。鉴于本人知识水平，文中写的可能有错漏，希望大家可以指出互相学习。

1. SVM 支持向量机

在写SVDD之前，需要有SVM的相关基础，因为SVDD和SVM在公式推导上是很相像的。
SVM的核心是找一个有着最大间距的超平面实现二分类

目标函数是：

$max~d=\frac{|1-(-1)|}{{|\vec{\omega}|}}$
我们要使得目标函数最大化，等价于最小化
$min~\frac{|\vec{\omega}|^2}{2}$
为了方便公式的求导这里加了一个平方。
然后至于怎样对这个函数进行优化，很多书上都有说，而且很详细，大家可以看书哈~
……（通过拉格朗日乘数法）
我们得到决策平面方程：
$f(\vec{z})=sign(\sum_{i=1}^N\lambda_iy_i\vec{x}_i\centerdot \vec{z}+b)$
这个决策平面最最关键的地方就是我们只需要计算待测样本和训练样本的内积就可以得到类标。因为后面讲的核函数技术和这个有大大滴关系
如果碰到了线性不可分怎么办？
没错，就是传说中的核函数技术
把原始空间的数据映射到高维空间，然后再找一个超平面划分数据。
这里要明确一点：
核函数不是这个映射，核函数只是用来计算这个映射后的点的内积
通过一个映射，原始数据从低维空间映射到高维空间，下面我们举一个例子：
把一个一维的数据（实数），映射到无限维的空间（无限维的向量）
$\phi(x)=e^(-x^2)(1,\sqrt{\frac{2^1}{1!}}x,\sqrt{\frac{2^2}{2!}}x,\dots)$
所以
$\phi(x)\cdot\phi(y)=e^{-x^2}(1,\sqrt{\frac{2^1}{1!}}x,\sqrt{\frac{2^2}{2!}}x,\dots)\cdot e^{-y^2}(1,\sqrt{\frac{2^1}{1!}}y,\sqrt{\frac{2^2}{2!}}y,\dots)$
合并得到
$\phi(x)\cdot\phi(y)=e^{-x^2-y^2}\sum_{i=0}^\infty{\frac{{2xy}^i}{i!}}$
利用无穷级数的知识，我们可以得到
$\phi(x)\cdot\phi(y)=e^{-{(x-y)}^2}$
所以两个无穷维向量的乘积，最终可以化成原始空间的运算。
通过对这个变换的拓展，我们就可以得到鼎鼎大名的高斯核函数。
$K(\vec{x},\vec{y})=e^{\frac{-{(\vec{x}-\vec{y})}^2}{2s^2}}$
同样通过无穷级数等的展开，高斯核函数也是一个从n维映射到无穷维空间的核函数。
那么我们之前说了，决策平面关注的其实是两个向量的内积。所以映射到高维空间后，决策平面化为：
$f(\vec{z})=sign(\sum_{i=1}^N\lambda_iy_i\phi(\vec{x}_i)\cdot \phi(\vec{z})+ b)$
那么我们对内积用核函数进行代替，就可以得到决策平面。

下一篇开始讲 SVDD 了

1 0