李航《统计学习方法》第一章复习与习题参考解答
来源:互联网 发布:命运2 枪匠遥测数据 编辑:程序博客网 时间:2024/06/05 22:53
1、统计学习三要素
除了介绍一些基本概念之外,李航《统计学习方法》第一章的重点是提出了统计学习的三要素,即
方法 = 模型 + 策略 + 算法
更确切地说,统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法。今后在学习任何统计学习方法的时候可以从这三方面着手。
1.4节“模型评估与模型选择”与1.5节“正则化与交叉验证”都是对1.3.2节“策略”的补充。
“策略”指的是,既然在选定的模型空间中有很多具体的模型,我们要如何从中选出在测试集上表现最好的模型。书中只考虑监督学习问题,这时我们的目标是选出期望风险(式(1.9))最小的模型,从式(1.9)可以看出,要计算期望风险,就需要先计算输入/输出的联合分布,而这个联合分布又是不知道的(如果知道了就可以推出条件概率,也就不必“学习”了)。
解决这个“病态问题”的方法是,用经验风险或结构风险去近似期望风险。经验风险是模型在训练集上的平均损失,如果训练集样本容量足够大,根据大数定律,经验风险对期望风险的近似就足够好。但是如果训练集样本容量不足够大,仍用经验风险的话就会过拟合,就要对经验风险加以矫正,即加上正则项得到结构风险,来近似期望风险。正则项表示模型的复杂度,因此正则化符合奥卡姆剃刀原理。
从贝叶斯估计的角度看,正则化项对应于模型的先验概率。可以假设复杂的模型有较小的先验概率,简单的模型有较大的先验概率。
另一种解决训练样本较少的方法是交叉验证,交叉验证是一种重复利用数据的方法。关于交叉验证,可参考这篇文章 里的Lecture 2部分。
书中还说,在特定情况下,极大似然估计就是经验风险最小化的一个例子,最大后验概率估计就是结构风险最小化的一个例子。前者即习题1.2,我的证明将在下文给出。我在证明后者的过程中遇到了问题(也在下文给出),望本文读者不吝赐教。
关于“在特定情况下,最大后验概率估计就是结构风险最小化的一个例子”,可参考这篇知乎专栏 。
2、精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么?
可参考52ml的这篇文章 。
习题参考解答
我的问题
- 李航《统计学习方法》第一章复习与习题参考解答
- 统计学习方法 李航 第一章习题
- 《统计学习方法》第一章习题
- 李航 统计学习方法 第一章 课后 习题 答案
- 李航《统计学习方法》第4章习题答案参考
- 统计学习方法 李航 第二章习题
- 李航《统计学习方法》第一章 机器学习三要素
- 李航—统计学习方法第一章课后答案
- 李航-统计学习方法学习笔记-第一章
- 第一章统计学习方法概论_李航
- 统计学习方法-习题2.3
- 统计学习方法第一章读书笔记
- 第一章 统计学习方法概论
- 第一章统计学习方法概论
- 第一章 统计学习方法概论
- 统计学习方法 第一章
- 《统计学习方法》笔记-第一章
- 统计学习方法-第一章
- centos clamav杀毒软件安装配置及查杀,没想到linux下病毒比windows还多!
- Android studio多渠道打包
- Hibernate学习笔记(七)Hibernate 映射关系
- 3des加密数据长度报错
- php_redis
- 李航《统计学习方法》第一章复习与习题参考解答
- Python asyncio文档翻译--运行一个消息循环EventLoop
- UIScrollView代理方法
- 1.SpringMVC_简单HelloWorld
- C语言中的4字节对齐详解
- 项目管理-PMP-第13章 考试认证计算题目
- 饿了么:日订单量超900万的架构设计及演进之路
- 快启动怎么使用?u盘启动盘制作工具使用教程
- 状态栏2---ToolBar可折叠效果