回归算法注意点

1.回归算法的基本假设是：误差是独立且有相同分布，通常情况下服从高斯分布其均值为0。

2.回归算法的推导原理。极大似然估计

3.线性回归θ=(XTX)−1XTy

其中X.shape=（N,D）,N为样本个数,D为输入维度

θ.shape=(D,d),D为输入维度,d为输出维度

y.shape=(N,d),N为样本个数,d为输出维度

若对X所有维度数据进行中心话处理即将每个维度上的数据-该维度上的平均值并且替代原来的X矩阵
得到的
(XTX)
为关联矩阵

4逻辑回归（用作二分类问题）
运用sigmoid函数将output映射到[0,1]上的概率空间。然后进行回归推导
hθ(x)=g(θT)=11+e−θTx

5 Ridge Regression
在误差计算上引入一个关于 θ 的Bias，并且引入控制变量λ

ξ=||Xθ−Y||2+λ||θ||2

最终结果

θ=(XTX−1+λI)−1XTy

通过λ来控制模型的复杂程度