统计学习方法(1)——正则化、误差上界的证明等
来源:互联网 发布:mac怎么安装word 编辑:程序博客网 时间:2024/06/08 02:52
First of all,最近打算系统的学习一遍《统计学习方法》这本书,把里面提到的概念和公式都好好学习和推导一遍.因此今后的一系列文章将会记录一些我在阅读本书时的一些心得体会.
统计学习作为数据挖掘的手段,其目的就是通过对已知数据的学习,对未知的数据进行预测.第一章中主要介绍了一些基本的概念如监督学习\非监督学习,损失函数的定义,过拟合与欠拟合,回归和分类任务等基本的概念在此我就不细说了,下面重点说几个印象比较深同时也是以前没怎么搞懂的知识点.
风险函数与正则化
我们知道损失函数(loss function)可以用来度量模型一次预测的好坏,风险函数可以用来评价模型在平均意义下的预测好坏。我们把理论上的模型
我们学习的目标就是得到一个期望风险最小的模型,但是因为我们事先无法得到联合分布
当N趋向于无穷大时,经验风险就会趋向于我们所要的期望风险。但是现实情况下我们所获得的训练样本数往往不够,如果按照经验风险最小的约束进行训练,往往会导致模型出现过拟合的现象,我们往往会在经验风险后添加正则化项,从而实现结构风险最小,可有效的防止过拟合的发生.
其中
泛化误差上界的证明
事实上,泛化误差就是指所学习到的模型的期望风险,书中提到了二分类问题的泛化误差上界的证明问题,在此也想结合自己的理解把证明过程推导一遍。
首先证明需要用到Hoeffding不等式
以下是Hoeffding不等式的一个推论
其中
令
因
所以对于任意f,根据(7)式都有
令
即期望风险
(10)
不等式(10)的右侧即为二分类问题的泛化误差上界.
以上即为对《统计学习方法》一书第一章阅读后的一些感想与记录,之后我会按照大概一周一篇的速度更新对后续章节的阅读思考。
- 统计学习方法(1)——正则化、误差上界的证明等
- 泛化误差上界的证明,说明机器能进行学习和预测的基本原理。
- 质数无上界的证明
- 泛化上界的证明——为什么机器能进行学习和预测?
- 统计学习方法笔记(1)——统计学习方法概论
- 李航-统计学习方法总结(SVM,感知机,朴素贝叶斯,正则化等)
- 李航—统计学习方法
- 统计学习方法—学习笔记(1)
- 统计学习笔记(1)——统计学习方法概论
- 统计学习笔记(1)——统计学习方法概论
- 统计学习笔记(1)——统计学习方法概论
- 统计学习笔记(1)——统计学习方法概论
- 统计学习笔记(1)——统计学习方法概论
- 统计学习笔记(1)——统计学习方法概论
- 统计学习方法第一章笔记——统计学习方法概论
- 统计学习方法(一)——统计学习方法概论
- 《统计学习方法》——概论
- 统计学习方法——绪论
- chimerge数据离散化算法
- Console 控制台 字符串输入的格式问题
- JAVA初识
- 重构工具安装 Jalopy,CheckStyle,FindBugs,JDeodorant,Stench Blossom
- 单例设计模式的应用场景
- 统计学习方法(1)——正则化、误差上界的证明等
- Java链表之输出(重点)
- 从fragment切换到 app.supportv4.fragmentFragmentTransaction
- ant 资源文件放到jar里,并且新建目录存放
- SCU4439 二分+枚举进制+思维
- mysql学习之数据备份和恢复
- upgrading to (11.2/10.2) from (9.2) or (10.1) 需要注意的connect 角色的权限差异
- pcl曲面重建模块-poisson重建算法示例
- Solidworks二次开发: VC6.0创建的插件移植到VS2013中