机器学习基石-09-2-Linear Regression Algorithm

将Ein(w)写成矩阵的形式

上面的重要步骤是把连加的平方和写成了向量内积的平方。其中x=（x0,x1,x2,……xd）总共d+1个变量

任务变成了求解上面结果的最小值

可以先看一下Ein(w)和w之间的图形：

哪里是最低点呢？在最低点上不管往哪个方向移动都不会产生更低的Ein，也就是梯度要是0。

梯度：对函数在每个方向上（不同的w,w0,w1…,wd）做偏微分，然后把w带进去满足梯度都是0。

所以新的任务就是：找到使得梯度为0的w。

梯度

把之前的矩阵形式再改回向量内积平方的形式。其中，向量的平方=向量模的平方。

1.当w是一维时，

Ein(w)就变成了一元二次方程，很容易就可以得到w的值

2.当w是向量时，

任务就变成了下面的：

当可逆时，

是(d+1)*(d+1)维，是N*(d+1)维。一般地，自由度是d，资料量data N远远大于d+1，所以矩阵可逆。

当不可逆时，直接使用现成的pseudo-inverse x来计算w(LIN)，这时会有很多组解。

linear regression algorithm线性回归算法

FUN TIME

其中，直接带进去就可以得到答案。