机器学习知识总结：代价函数与经验风险、结构风险最小化

一、代价函数

代价函数（cost function）用来度量预测错误，损失函数越小模型越好，常见的有4种：

1. 0-1损失函数：
   

2. 平方损失函数：
   

3. 绝对损失函数：
   

4. 对数损失函数：
   

二、经验风险最小化与结构风险最小化

1. 经验风险最小化（empirical risk minimization，EMR）
   当样本容量很大的时候，经验风险最小化的策略认为，经验风险最小的模型是最优的模型：
   
   当样本容量很小的时候，经验风险最小化学习的效果不好，会产生过拟合现象。
2. 结构风险最小化regularization（structural risk minimization，SRM）
   为了防止过拟合提出，结构风险最小化等价于正则化（regularization）。结构风险在经验风险上加上表示模型复杂度的正则项（regularizer）或罚项（penalty term）：
   
   其中，后一项为模型的复杂度，模型越复杂，参数越多，复杂度函数越大，系数lamda用以权衡经验风险喝模型复杂度。因此，结构风险小，即经验风险喝模型复杂度同时小。求解最优化模型：