LR vs LWLR

有N个带标签数据集 (xi,yi),i=1,2,⋯,N ，其中yi是数值型数据，xi是M维列向量。我们假设数据xi与yi满足线性关系，即

yi=xTiw

其中w与xi一样都是M维列向量。
找到最优的w，就是回归要解决的问题。

LR

即 Linear Regression(线性回归) ，也称为普通最小二乘回归(Ordinary Least Squares，OLS)以平方误差

∑i=1N(yi−xTiw)2

作为优化目标函数，其中向量w 作为优化参数。

优化目标函数的矩阵形式为：

L=(Y−Xw)T(Y−Xw)

可知Y为N维列向量，X为N×M的矩阵。

对L关于w求导，得

∂L∂w=−2XT(Y−Xw)

令导数为0解得w:

w=(XTX)−1XTY

LWLR

即 Locally Weighted Linear Regression(局部加权线性回归)。
其优化目标函数是

L=(Y−Xw)TD(Y−Xw)

其中 D是N×N的对称矩阵，其元素值d(i,j)表示数据xi与xj的某种关系的度量。

对L关于w求导，得

∂L∂w=−2XTD(Y−Xw)

令导数为0解得w:

w=(XTDX)−1XTDY

d(i,j)的函数称为“核”，核的类型可以自由选择，最常用的是高斯核：

d(i,j)=exp(||xi−xj||1−2k2)

观察上式可得：d(i,j)与xi、xj的L1范数呈负相关，L1范数越大，值越小；与|k|呈正相关。

当|k|取一个很小的值时，d(i,j)的值随||xi−xj||1的增加衰减速度极快，这时矩阵D非对角线上的元素都为0，对角线上元素值都为1，退化为普通的LR。由此可知，LWLR是LR的推广形式。