统计与机器学习发展的三条主线(二)

今天我们继续，昨天我们说要带领大家捋一捋统计与机器学习发展的几条主线，上一篇文章主要是从神经网络谈起，从最开始的感知器，发展到BP算法，再到后面的卷积神经网络以及最后的深度信度网络，这可以说是神经网络非常重要的一条发展主线，而且到现在也还在发展，从2012年起，又有许多新的神经网络提出来，在图像识别，自然语言处理，推荐算法方面都有很重要的应用。

那么我们今天沿着的主线又是什么呢，是回归，而且是线性回归。大家肯定会好奇了，回归类的方法那么多，为什么最简单的线性回归反而异常重要，难道它们之间有联系吗，答案是有，而且有着非常重要的联系，那么今晚就带领大家沿着这条路线走一下，就明白了。我们先说，什么是简单的线性回归，我们想象一下，有一堆散点在二维坐标里，我们需要找一条直线穿过它，并且呢，误差要最小，在这种条件下，我们得到的直线就是通过最小二乘法得到的直线。那么这件事从什么时候就做了好呢，从大数学家高斯的时候就做好了。但是呢，这个时候最小二乘得到的只是一条回归线。其他含义并没有太多。比如这个时候，我们得到回归线上的每一个点就是预测点。如果大家经常看书，会遇到另一个叫法，叫条件期望，再给定x的情况下的均值，这个是什么意思呢，为啥这样叫呢，背后有什么含义呢。实际上是这样的，我们通过最小二乘法得到那条直线之前，实际上是有个假设的，就是自变量x和因变量y一定是存在关系的，也就是它们本来理论上有关系，我们要通过回归把具体线性关系得出来。既然有关系，那么它们之间就存在联合概率密度f（x，y），所以说最小二乘背后是有着概率分布的假设的。这个时候我们再来看，我们所拟合出来的那条直线上的点究竟代表啥，它代表的是，在给定x的情况下，y的均值。大家看一下下面这张图就有点感觉了。那么现在我们再回过头来看这个问题，我们根据最小二乘法得到的直线上的每一点究竟代表啥呢，实际上是这个样子的，我们所收集到的点一定是从F（x，y）这个分布中随机抽到的，比如我们收集到了四个点A（1,3）B（2,4）C（2,3）D（3,4），那么大家看，B点和C点x坐标的值是相同的，y坐标的值是不相同的，那么这个时候，我就可以说，在B点，C点之间我们还存在一些点，比如E（2,3.5），也就是这个时候，只要x坐标为2，y坐标其实可以取很多值，而我们所拿到的B点，C点其实是这一些列点当中的两个，也就是说，这个时候，y值其实在给定x的情况下是存在一个分布的，我们的样本点，就是从这个分布得到的，而直线上的点就代表y这个分布的均值。这次大家就明白了吧，所以拟合出来的直线上每个点就是这个含义，即：给定x的情况下，y其实存在一个分布，这个分布的均值就是直线上的点。

上面是花了很大的功夫给大家介绍一个简单线性回归模型背后其实有着很重要的概率背景，后面贝叶斯角度下的线性回归，从概率分布角度下来展开的，而且非常好解释。我们继续沿着这条线往下走，刚才说的概率分布其实是线性回归一个重要的角度，从这个角度发展出来两个非常重要的方法，一个是中位数回归，也叫robust regression，另外一个是分位数回归，叫quantile regression，我们后面再给大家详细展开。现在我们暂时把重点放到线性回归的另一个重要的角度，那是线性。大家可能会偷笑一下，说这有啥讲的呢，其实这个非常重要，首先问大家一个问题，线性回归里边的线性是指自变量x是线性的，还是指自变量x前面那个回归系数呢。或者换一个角度来看，这个线性，哪一个更重要呢。后者更重要，也就是系数是线性的更重要，为什么呢，这得从线性回归的基本形式谈起，线性回归是这样的y=k0+k1*x1+k2*x2，，在这种情况下，我们得到的是一条直线，那么如果我们把x换成x的平方，我们就得到了一条曲线了，大家看简单的x换成其他形式，我们就可以得到不同的回归线，这里需要和大家交代一下，之所以可以这样换，重要的原因是换了之后还可以按照线性回归那个套路进行求解，那么在这种情况下，还可以把x换成关于x的样条，这样的话，我们就得到样条回归，也可以x换成关于x的某个函数，这样我们就得到了加性模型，这个是非常重要的一类模型，后面我们会详细的展开。还可以换成x的某个核函数，这样的话，就是核回归了，大家看，将x进行替换，我们就得到了相应的模型，除了线性回归，其他方法可以这样直接换掉就能得到其他模型吗，很少有的。

好了，到最后我再带领大家总结一下，我们说，沿着线性回归这条路，有两个点子可以发展。第一个点子呢，是从线性回归直线上的点谈起，直线上每一个点代表在给定x条件下，y的均值就是那个点，按照这个套路来，我们发展出了中位数回归（robust regression）和quantile regression（分位数回归）。那么另一个角度说把线性回归里边的x换成x的其他形式，结果发现我们还可以按照之前的套路进行求解，这个是很神奇的地方了，这样我们又发展出来，多项式回归，样条回归，核回归，广义加性模型。加性模型的出现又给许多模型提供了新的发展思路，比图回归数，尤其是boosting里边的解释原理等等，后面我们会详细地展开。

那我们今天就到这，谢谢大家。明天继续寻找统计与机器学习的另一条路线。