误差（Error）

---

1 误差来源分析

• Error=bias2+variance+Noise
• 理论上最佳的模型f^，我们只能找到f∗作为f^的估测。 E(f∗)=f^

• Variance方差：

  Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。反应预测的波动情况。

• Bias偏差

  Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，即算法本身的拟合能力

• m=1N∑Nixi≠μ，E(m)=μ
  s2=1N∑Ni(xi−m)2，Var(m)=σ2N
  E(s2)=N−1Nσ2≠σ2

• 过拟合会出现较大的variance，欠拟合会出现较大的bias。

---

2 一些解决方法

1. 增大数据集合——使用更多的数据，噪声点比重减少
2. 减少数据特征——减小数据维度，高维空间密度小
3. 正则化方法（Regularization）——即在对模型的代价函数（cost function）加上正则项
4. 交叉验证（Cross Validation）：将training set分成training set和validation set。利用validation set来选择（select）模型。常用的K-fold Cross Validation
   

---