机器学习基石-Linear Regression

大纲

Linear Regression Problem

当y∈R时，我们就成为机器学习问题为回归问题

1 Linear Regression Hypothesis

h(x)=wTx

2 Illustration of Linear Regression

线性回归问题就是在空间中，寻找一个线或者超平面，满足点到超平面拥有最小的误差

3 The Error Measure

回归问题一般用square Error作为损失函数，所以我们的算法的目的就是如何最小化Ein(w)

Linear Regression Algorithm

1 Matrix Form of Ein(w)

Ein(w)=1N∥XW−y∥2

我们可以知道Ein(w)是一个连续可导的凸函数，所以在w满足▿Ein(w)=0的时候取得最小值

2 The Gradient ▿Ein(w)

▿Ein(w)=2N(XTXW−XTy)

Optimal Linear Regression Weights

我们令▿Ein(w)=0，则有

Conclusion

Linear Regression Issue

如何证明在数据足够大的时候，Ein¯≈Eout¯呢？

当N足够大时，Ein¯ 和 Eout¯都趋向于noise level,所以线性回归问题模型是可以学习的

Linear Regression for Binary Classification

1 Linear Classification VS Linear Regression

我们知道二分类问题的 0/1 损失很难被优化，是一个NP难问题，但是线性回归的的square损失很容易被优化，因为，{-1，+1}也属于R,所以我们很自然的想到能否用square代替0/1损失进行优化，来更好的优化问题。

2 Relation of Two Error

我们可以看到，square损失是0/1损失的上界

这里我们用了一个更宽松的上界来bound住包外误差，优化这个宽松的上界是很简单的，一般来说这个算法可以取得不错的效果，所以我们可以跑一次linear Regression来得到W,作为PLA算法的初始W,可以加速算法收敛