从基础出发：统计学习方法三要素

统计学习方法，初听起来感觉很陌生，到底什么是统计学习方法，怎么去理解？李航老师版的《统计学习方法》给了详细的解释，以下是我的理解，如理解有偏差，还望指教。

统计学习方法由三个要素构成，即 模型 、策略和算法。
模型是来确定一个假设；策略用来验证或纠正模型的好坏；而算法，是在选定模型和策略后，使用某种计算方法来使模型最优。

对于模型来说：

我们得确定一个假设，假设数据集是线性模型、概率模型还是其它的模型，这个可以假设的模型是无穷的，每个模型当然有对应的参数。
如对于决策函数的模型,即非概率模型，它的表现形式是：

对于条件概率的集合，即概率模型，它的表现形式是：

对于策略来说：

确定好模型后，我们得确定一个规则，来判断我们这个模型的好坏，模型的参数怎么设置可以达到该模型最好的效果，这就是策略。即我们常常听到的损失函数、风险函数。损失函数用来度量模型一次的好坏，而对于风险函数，度量的是平均意义下模型预测的好坏。常用的损失函数有：

损失函数数值越小，模型就越好。然而，对于一个样本，我们不能评论这个模型好不好，我们得针对整个样本集来对模型进行判断，因此呢，损失函数的叠加再取均值，即风险函数，才能评价模型的好坏。

再说说期望风险和经验风险（风险函数）的关系。我们真正想得到的最小的风险，即期望风险，这个怎么求呢，是需要遍历所有的关于这个模型下的样本集，然而，受到样本集的制约，我们不可能所有的样本集都能遍历到（一是本身就不现实，二是所有的样本集都有了，我们还折腾统计学习干什么…）。既然不能真正得到期望风险，那怎么得到一个和期望风险相近的值呢。上有政策，下有对策，根据大数定理，当样本集N足够大时，经验风险≈期望风险。因此，我们一般通过经验风险来预测模型的好坏。

但是，如果样本N不多，怎么搞？经验风险就不是很管用了诶。这时候，嘿嘿，结构风险最小化出来了。结构风险最小化是防止过拟合而提出来的策略，等价于在经验风险上加上表示模型复杂度的正则化项或惩罚项，定义为：

对于算法来说：

算法就是指在选定模型和策略后，通过相应模型和策略的计算方法来对数据集求解最优模型。算法要做的事呢，就是通过参数的调整来使模型达到最优，这就涉及到了求最优解的问题，也会遇到局部最优解的问题，这个问题是学习算法中经常遇到的，怎么来解决，这里就先不探讨了。