机器学习实战笔记(二)

标签（空格分隔）： 机器学习

---

局部加权线性回归

平方误差∑mi=1(yi−xTiw)2=(y−Xw)T(y−Xw)求导令其为０得到如下

ω̂ =(XTX)−1XTy

ω̂ =(XTＷX)−1XTＷy

在局部加权线性回归中,较小的核容易得到较低的误差,但是最小的核容易过拟合

缩减系数来理解数据

• 首先如果数据特征多于样本点怎么办?求解(XTX)−1会出现问题
  统计学家引入岭回归,以及lasso法

岭回归

其实就是在XTX上面加上一个λI从而让矩阵非奇异
在增加如下条件下,普通最小二乘法可以得到和岭回归一样的公式

∑k=1nω2k≤λ

lasso回归

∑k=1n|ωk|≤λ

诊断偏差和方差

训练集误差和交叉验证集误差近似时:偏差/欠拟合
交叉验证集误差远大于训练集误差时:方差/过拟合