统计学习方法概论
来源:互联网 发布:淘宝网店加盟电话 编辑:程序博客网 时间:2024/05/16 12:23
本文是学习李航写的《统计学习方法》一书第一章“统计学习方法概论”所做的一个笔记,主要就是对第一章的总结。
1. 统计学习:
统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,统计学习也称统计机器学习。由此可以看出统计学习的研究对象是数据,目的是对数据进行预测与分析。同时,统计学习关于数据的基本假设是同类数据具有一定的统计规律性,这是统计学习的前提。
2. 监督学习:
统计学习包括监督学习、非监督学习、半监督学习及强化学习。其中监督学习利用训练数据集学习一个模型,再用模型对测试样本集进行预测,分为学习和预测两个过程,可用如下的图来描述:
上图中,
3. 统计学习方法的三要素:模型、策略、算法
(1) 模型:所要学习的条件概率分布或决策函数。假设空间
①损失函数
(i) 0-1损失函数:
(ii) 平方损失函数:
(iii) 绝对损失函数:
(iv) 对数损失函数:
②期望风险(期望损失):损失函数的期望,即:
经验风险(经验损失):模型
有监督学习的两个基本策略为经验风险最小化和结构风险最小化。
经验风险最小化即为:
结构风险最小化是为了防止过拟合而提出的策略,即为正则化。结构风险在经验风险上加上表示模型复杂度的正则化项和惩罚项,定义是:
4. 模型评估与模型选择:
(1) 训练误差和测试误差:
训练误差是模型
(2) 过拟合:
过拟合指学习时选择的模型所包含的参数过多,以致于出现这一模型对已知数据预测的很好但对未知数据预测的很差的现象。训练误差和测试误差与模型复杂度之间的关系如下图所示:
我们可以看出,随着模型复杂度的增大,训练误差会逐渐减小并趋向于0;而测试误差会先减小,达到最小值后又增大。当选择的模型复杂度过大时就会发生过拟合现象
5. 模型选择方法:正则化与交叉验证
(1)正则化:结构风险最小化策略的实现。正则化的作用是选择经验风险与模型复杂度同时较小的模型。
(2)交叉验证:
若样本数据充足,随机地将数据分成三部分:训练模型(用来训练模型)、验证集(用于模型的选择)和测试集(用于最终对学习方法的评估)。
若样本数据不充足,则重复地使用数据即交叉验证。
6. 泛化能力:
泛化能力是指学习方法学习到的模型对未知数据的预测能力。泛化误差反映了学习方法的泛化能力,事实上泛化误差就是所学习到的模型的期望风险。如果一种方法学习的模型比另一种方法学习的模型具有更小的泛化误差,那么这种方法就更有效。
7. 生成模型与判别模型:
(1)生成方法:由数据学习联合联合概率分布
(2)判别方法:由数据直接学习决策函数
8. 分类问题:
分类问题包括学习和分类两个过程。评价分类器性能的指标一般是分类准确率,即对给定的测试数据集,分类器正确分类的样本数与总样本数之比。
9. 标注问题:
标注问题的输入是一个观测序列,输出是一个标记序列或状态序列,分为学习和标注两个问题。标注常用的统计学习方法有隐马尔可夫模型、条件随机场,应用于信息抽取和自然语言处理(如其中的词性标注)。
10. 回归问题:
回归问题等价于函数拟合,选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。回归模型是表示从输入变量到输出变量之间映射的函数。回归分为学习和预测两个过程。
- 统计学习方法:统计学习方法概论
- 统计学习方法概论
- 第一章 统计学习方法概论
- 统计学习方法概论
- 第一章统计学习方法概论
- 1 - 统计学习方法概论
- 统计学习方法概论
- 统计学习方法概论
- 统计学习方法概论
- 统计学习方法概论
- 统计学习方法概论
- 第一章 统计学习方法概论
- 统计学习方法概论
- 统计学习方法概论
- 统计学习方法笔记 -- 概论
- 统计学习方法概论
- 统计学习方法概论
- 统计学习方法读书笔记--概论
- lintcode: Wiggle Sort Show result
- vbscript基础1
- Oracle常见错误总结
- C++学习笔记之多态与虚函数,虚函数表
- matlab调用Java函数
- 统计学习方法概论
- [SCOI2009] [BZOJ1026] Windy数 - 数位DP
- 夜底有感
- python爬虫之正则表达式
- 求n的阶乘
- gradle
- iOS多线程的初步研究(三)-- NSRunLoop
- vbscript基础2
- 最小树形图/朱刘算法……表示稍微记录一下