机器学习---计算学习理论
来源:互联网 发布:win10升级软件 编辑:程序博客网 时间:2024/06/05 19:54
如果你不是数学系的,就不要看这个了。
因为以下内容是用来证明机器学习的方法的正确性,你可以用机器学习来得到你想要的结果。然而对于编程或者使用这个方法的人来说,你只要放心大胆地用就行了。就像你知道1+1=2,你并不需要知道它为什么等于,反正你可以用。
以下使用到的图片来自上海交大杨旸老师的课件,网址如下:http://bcmi.sjtu.edu.cn/~yangyang/ml/
写在前边,这课我只听懂了一部分,后来知道这个其实并不需要了解,就没再细细研究,可能到后边会突然就没有内容了,强迫症患者慎阅。
首先我们来看几个概念:
m:训练数据
H:假设空间,比如我们的映射函数是线性的,那么这个空间就包括满足假设条件的所有线性函数(可能是这样的)
e(就用它代替吧):准确率,编程的时候输出的准确率就是它
第四个(这符号真...):我们使用不同的训练数据集产生的准确率会有不同,这个就是代表我们可以通过所选训练集学习到正确结果的概率
PAC framework:假设所有的训练数据都是分类准确的,没有噪声的。但是这在现实中基本不可能达到的
Agnostic framework:训练数据是有噪声的。符合实际情况
t
图中的c是完全分类准确的空间,h是我们的假设空间,它们不重叠的部分就是说明我们预测的不准。
D表示理想状态中全部的数据,上图中,下边那个符号就是表示分类错误的概率(就是C和H不相交的那部分,我以为只有右边那个月牙)
上图中,下边这个公式和上一页一样,解释一下上边那个公式
S是训练用的数据集(也就是理想完整数据集D的一部分),那么我们计算错误率的方法就是,找到所有使用训练得到的映射函数分类错误的结果,用错误的个数除以总训练个数就是错误率~
上边求和里边的(一普斯龙)就是一个脉冲函数,表示,如果C和H不相等就取1,相等就取0
这就是一个定理,所有事件并起来的概率小于等于它们分别的概率相加
这也是一个定理公式,记住就行了,叫做Hoeffding不等式
r就是你指定的一个常数。
Zi等于1和等于0的概率已经知道了,就是(fai)和1-(fai),我们训练好的模型估计出来的值就是(fai估),但是这个公式中的(fai估)是需要求所有估计值的平均的,然和前边那个概率就小于等于后边这个式子咯。m代表样本的个数
Version Space:之前说的那个很大的假设空间里边,和训练数据完全匹配的那些个映射关系
我们已经知道了这么多的概念,然后我们到底需要证明的是什么呢?就是下图中的两个式子
只要证明上边这两个式子成立,那么我们就可以说我们的学习方法是正确的可行的。
1、我们训练得到的映射关系用在理想的完整的数据上的错误率约等于0(也就是我们使用部分训练数据是OK的)
2、让错误率约等于0的概率约等于1(也就是说我们无论取什么样的训练数据都没有影响)
证明了这两个内容,那么我们就可以说学习的方法是正确可行的。
怎么证明约等于0呢?其实只要证明它有上界和下界就OK
至于具体的证明步骤,嘿嘿,没懂。
这篇文章发表之后博客升为4级,并且当时刚好1000分,纪念一下,哈哈~
如果有小伙伴儿有发现错误或者有我理解不到位的地方,希望可以联系我修正哦,你的善良让世界都变得可爱了呢~
- 机器学习---计算学习理论
- 机器学习笔记(十二)计算学习理论
- 机器学习理论(学习笔记)
- 机器学习(周志华)_第十二章 计算学习理论
- 计算学习理论、统计学习基础理论
- 周志华 《机器学习》之 第十二章(计算学习理论)概念总结
- 机器学习理论
- 机器学习总结1_学习理论
- PAC学习理论:机器学习那些事
- 斯坦福 机器学习-第四章学习理论
- PAC学习理论:机器学习那些事
- 【机器学习理论】第1部分 机器学习基础
- 【机器学习快速入门】简单自学机器学习理论
- 机器学习理论篇1:机器学习的数学基础
- Stanford机器学习课程笔记3-学习理论部分
- 机器学习(六)——SVM(4)、学习理论
- 统计机器学习理论
- 统计机器学习理论
- 常用简单SQL语句
- 第三章: C语言程序设计初步
- Android 创建桌面快捷图标
- 友盟在xcode中设置URL Scheme
- FindBugs 使用 及 常见错误解决方法
- 机器学习---计算学习理论
- byte、二进制、十进制数值之间的转换
- QT入门:怎么写无边框(标题栏)的窗口、透明窗口、圆角控件
- iOS深入学习(再谈block)
- Linux上安装nodejs
- linux awk命令详解
- Maven提高篇系列之一——多模块 vs 继承
- 运行caffe时报错:Check failed: status == CUDNN_STATUS_SUCCESS
- 深入理解指定IE浏览器渲染方式