《统计学习方法》——概论

本文是一篇学习笔记，参考《统计学习方法》一书加上自己的理解，对整个统计学习方法有个整体把握。

什么是统计学习？

拿到一些数据，发现这些数据中的规律或知识，将这些规律或知识用来分析新的数据，这就是统计学习。

不难发现，统计学习有一个基本假设：同类数据具有一定的统计规律性。

而统计学习的目的就是：对新数据进行预测和分析。

以监督学习为主进行讨论。

监督学习：学习一个模型，使模型能够对任意给定的输入，都可以很好地预测一个输出。

如何进行统计学习？

统计学习方法有三要素：模型+策略+算法。

模型

在监督学习中，模型表现有两种表现形式：

• 条件概率分布
• 决策函数

首先需要定义一个假设空间，这个假设空间包含所有可能的条件概率分布或决策函数。下一步就是用一定的策略去找一个最好的条件概率分布或决策函数。

策略

通常用损失函数和风险函数来度量模型预测好坏。两者的区别是，损失函数度量一次预测的好坏，风险函数度量平均意义下预测的好坏。两者的关系是，风险函数是损失函数的数学期望。

我们希望风险函数越小越好，所以风险最小的模型就是最好的模型。

为了防止“过拟合”现象，通常需要在风险函数上加上一个表示模型复杂度的正则项，构成目标函数。

最终，监督学习问题变成了目标函数的最优化问题。

算法

由于监督学习问题归结为最优化问题，因此，需要有一个算法来得到这个最优解。

如何评价学出来的模型？

学习方法评估标准：

• 训练误差
• 测试误差

训练误差——模型关于训练集的平均损失

测试误差——模型关于测试集的平均损失

如果训练误差小，测试误差大，说明出现了过拟合。此时模型复杂度往往过高，对未知数据的预测能力不强，也就是泛化能力不强。

我们希望最终训练误差和测试误差都比较小。

今天就到这里。由于是对整个统计学习框架的感性认识，所以没有公式也没有图表。在往后学习过程中有新的体会再进行补充。——2016.5.24