线性回归

最小二乘法线性回归模型

模型

yi≈w0+∑j=1dxijwj

模型学习

平方误差损失
wLS=argminw∑i=1n(yi−f(xi;w))=argminwL

最小二乘法解（矩阵版本）

L=∑i=1n(yi−xTiw)2=||y−Xw||2=(y−Xw)T(y−Xw)

对w求导
∇wL=2XTXw−2XTy=0⇒wLS=(XTX)−1XTy

潜在问题

计算wLS=(XTX)−1XTy架设了(XTX)−1存在
什么时候(XTX)−1不存在？
当(XTX)−1不是满纸矩阵的时候。
什么时候(XTX)−1是满秩的？
当n×(d+1)矩阵X有至少d+1线性无关的行时。这说明任意一个样本都能通过X中的d+1行的线性组合得到。
显然，当n<d+1时，不能使用最小二乘法。如果(XTX)−1不存在，会存在无穷多解。
结论：希望n>>d，（i.e. X 矩阵高且瘦）

几何解释

y−XwLS为一个正交于y^的误差向量。
线性回归的任务就是在d+1维子空间上找到一个预测向量y^使得目标向量y和预测向量y^的差向量的模的平方最小。
根据几何知识可知，当预测向量y^为原始向量y在子空间上的正交投影时，差向量的模最小。

概率解释

假设线性回归的噪音ϵi=yi−xTiw
互相独立且满足高斯分布
也就是说

1.yϵi2.yi3.y=xTiw+ϵi,∼(i.i.d)N(0,σ2)i=1,...,n∼(i.i.d)N(xTiw,σ2)i=1,...,n∼N(Xw,σI)

Ridge