台湾大学林轩田机器学习基石课程学习笔记8 -- Noise and Error
来源:互联网 发布:鲁豫采访谁谁倒霉知乎 编辑:程序博客网 时间:2024/06/06 14:21
上一节课,我们主要介绍了VC Dimension的概念。如果Hypotheses set的VC Dimension是有限的,且有足够多N的资料,同时能够找到一个hypothesis使它的
一、Noise and Probablistic target
上节课推导VC Dimension的数据集是在没有Noise的情况下,本节课讨论如果数据集本身存在Noise,那VC Dimension的推导是否还成立呢?
首先,Data Sets的Noise一般有三种情况:
由于人为因素,正类被误分为负类,或者负类被误分为正类;
同样特征的样本被模型分为不同的类;
样本的特征被错误记录和使用。
之前的数据集是确定的,即没有Noise的,我们称之为Deterministic。现在有Noise了,也就是说在某点处不再是确定分布,而是概率分布了,即对每个(x,y)出现的概率是
因为Noise的存在,比如在x点,有0.7的概率y=1,有0.3的概率y=0,即y是按照
在引入noise的情况下,新的学习流程图如下所示:
二、ERROR Measure
机器学习需要考虑的问题是找出的矩g与目标函数f有多相近,我们一直使用
我们介绍的矩g对错误的衡量有三个特性:
out-of-sample:样本外的未知数据
pointwise:对每个数据点x进行测试
classification:看prediction与target是否一致,classification error通常称为0/1 error
PointWise error实际上就是对数据集的每个点计算错误并计算平均,
pointwise error是机器学习中最常用也是最简单的一种错误衡量方式,未来课程中,我们主要考虑这种方式。pointwise error一般可以分成两类:0/1 error和squared error。0/1 error通常用在分类(classification)问题上,而squared error通常用在回归(regression)问题上。
Ideal Mini-Target由
有了错误衡量,就会知道当前的矩g是好还是不好,并会让演算法不断修正,得到更好的矩g,从而使得g与目标函数更接近。所以,引入error measure后,学习流程图如下所示:
三、Algorithmic Error Measure
Error有两种:false accept和false reject。false accept意思是误把负类当成正类,false reject是误把正类当成负类。 根据不同的机器学习问题,false accept和false reject应该有不同的权重,这根实际情况是符合的,比如是超市优惠,那么false reject应该设的大一些;如果是安保系统,那么false accept应该设的大一些。
机器学习演算法A的cost function error估计有多种方法,真实的err一般难以计算,常用的方法可以采用plausible或者friendly,根据具体情况而定。
引入algorithm error measure之后,学习流程图如下:
四、Weighted Classification
实际上,机器学习的Cost Function即来自于这些error,也就是算法里面的迭代的目标函数,通过优化使得Error(Ein)不断变小。
cost function中,false accept和false reject赋予不同的权重,在演算法中体现。对不同权重的错误惩罚,可以选用virtual copying的方法。
五、总结
本节课主要讲了在有Noise的情况下,即数据集按照
注明:
文章中所有的图片均来自台湾大学林轩田《机器学习基石》课程。
- 台湾大学林轩田机器学习基石课程学习笔记8 -- Noise and Error
- 台湾大学林轩田机器学习基石课程学习笔记14 -- Regularization
- 台湾大学林轩田机器学习基石课程学习笔记15 -- Validation
- 台湾大学林轩田机器学习基石课程学习笔记
- 机器学习基石-Noise and Error
- 台湾大学林轩田机器学习基石课程学习笔记2 -- Learning to Answer Yes/No
- 台湾大学林轩田机器学习基石课程学习笔记3 -- Types of Learning
- 台湾大学林轩田机器学习基石课程学习笔记4 -- Feasibility of Learning
- 台湾大学林轩田机器学习基石课程学习笔记5 -- Training versus Testing
- 台湾大学林轩田机器学习基石课程学习笔记6 -- Theory of Generalization
- 台湾大学林轩田机器学习基石课程学习笔记7 -- The VC Dimension
- 台湾大学林轩田机器学习基石课程学习笔记9 -- Linear Regression
- 台湾大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression
- 台湾大学林轩田机器学习基石课程学习笔记11 -- Linear Models for Classification
- 台湾大学林轩田机器学习基石课程学习笔记12 -- Nonlinear Transformation
- 台湾大学林轩田机器学习基石课程学习笔记13 -- Hazard of Overfitting
- 台湾大学林轩田机器学习基石课程学习笔记16(完结) -- Three Learning Principles
- 台湾大学林轩田机器学习基石课程学习笔记1 -- The Learning Problem
- 初识分布式服务管理框架-Dubbo
- 经典软件体系结构风格(四)
- Maven基础知识
- 程序员也是会浪漫的->打造浪漫的Android表白程序
- yolo v2 android ok(源码)
- 台湾大学林轩田机器学习基石课程学习笔记8 -- Noise and Error
- Springboot的配置文件Application.properties
- 南阳理工acm 176 整数划分(二)
- 贪心算法基础之活动时间安排(一)安排 51nod 贪心教程
- [leetcode 53]Maximum Subarray
- POJ 3046 Ant Counting (dp 多重集组合数)
- 论程序员学习之路
- 数组指针
- 二进制&十进制&十六进制