相关滤波、KCF、循环对角化

本文参考【目标跟踪】KCF高速跟踪详解

设训练样本集（xi，yi），i=1,2….n，我们需要求出一个线性回归函数f(x)=wTx ，使得对测试样本（x，y），能用f(x) 估计y

此时目标函数表示为：

对w求偏导，得：

求w必须要求矩阵的逆，矩阵求逆是一个非常耗时的过程，因此，如果w的求解可以用一种计算复杂度低的方法来解决，那么整个算法的时间复杂度就会大大降低。

所以KCF的作者提出，利用循环矩阵对角化的性质和离散傅里叶变换和逆变换，来化简计算。

循环矩阵对角化及其性质在后面有简单介绍。

为化简计算，将输入X表示为循环矩阵的形式，则XHX 的特征值为x^⨀x^∗ ,I 本身就是一个循环矩阵，其生成向量记为δ 所以原式可表示为：

根据循环矩阵求逆性质，可以把矩阵求逆转换为特征值求逆。

利用F的酉矩阵性质消元：

反用对角化性质

然后利用卷积性质得到：

由于x^⨀x^∗的每个元素都是实数，所以共轭不变，最终

这样，线性回归系数ω就可以通过向量的傅里叶变换和对位乘法计算得到。

核回归训练提速

核回归方法的回归式为：

f(z)=αTκ(z)

其中κ(z)表示测试样本z和所有训练样本的核函数，参数有闭式解：

α=(K+λI)−1y

K为所有训练样本的核相关矩阵：Kij=κ(xi,xj)。

设核相关矩阵的生成向量是k。推导和之前线性回归的套路非常类似：

利用循环矩阵卷积性质，可得：

这里k是核相关矩阵的第一行，表示原始生成向量x0和移位了i的向量xi的核函数。

附：循环矩阵对角化

任意循环矩阵可以被傅里叶变换矩阵对角化。

X表示循环矩阵，C（x）表示由原向量x生成的循环矩阵X，x^是向量x的傅里叶变换，F是傅里叶变换矩阵，上标H表示共轭转置：XH=(X∗)T

离散傅里叶矩阵F
当K（矩阵尺寸）=4时，

离散傅里叶矩阵的性质

• 对称性：是对称矩阵
• 满足FFH=FHF=I，即酉矩阵（unitary）

• 转置：循环矩阵的转置也是一个循环矩阵，其特征值和原特征值共轭。即
  

• 卷积：循环矩阵乘向量等价于生成向量的逆序和该向量卷积，可进一步转化为傅里叶变换后的向量点乘。
  

• 求逆：循环矩阵的逆，等价于将其特征值求逆。