bias 和 variance 的推导

参考 博客ooon

假设 X和Y满足Y=X+ε，ε是噪声，ε∼N(0,δ2ε)。
f(X)是准确的预测函数，f^(X)是通过训练集训练的预测函数。

Err(x0)=E[(y0−f^(x0))2]=E[y20−2y0f^(x0)+f^2(x0)]=E[y20]−2E[y0f^(x0)]+E[f^2(x0)]=E[y20]−E2(y0)+E2(y0)−2E[y0f^(x0)]+E[f^2(x0)]−E2(f^(x0))+E2(f^(x0))

∵ E[y0]=E[f(x0+ε)]=E(f(x0))Var[y0]=E[(y0−E[y0])2]=E[(y0+ε−y0)2]=E[ε2]Var[X]=E[X2]−E2[X]

∴ Err(x0)=[E[y0]−E[f^(x0)]]2+E[f^2(x0)]−E2(f^(x0))+Var[ε]=[E[y0]−E[f^(x0)]]2+Var[f^(x0)]+Var[ε]=Bias2(f^(x0))+Var[f^(x0)]+δ2ε

对于k近邻，其预测误差为:

Err(x0)=E[(Y−f^(x0))|X=x0]=δ2ε+[f(x0)−1k∑i=1Kf(xi)]2+δ2ϵk

随着 k 增大，var 会减小，而bias 会增大。