机器学习基石-05-3-Effective Number of Hypotheses
来源:互联网 发布:去蓝光软件 编辑:程序博客网 时间:2024/05/22 02:07
Dichotomies: Mini-hypotheses,dichotomy意思是一分为二,就是将普通的都转换成二分的。
用来代替M的部分就是可行的假设h的个数,包含所有可能存在的情况,比如inputs为2时,可能是6也可能是8。
但是这个想要代替M的部分会受到inputs(x1,x2,x3……)的影响,那么如何去除这种影响呢?
取所有inputs中的最大值来代替对应的,就不用再去考虑每一种情况只需要分析最大值的情况,也就是上一节课中的effective(N)的含义。比如inputs为2时,不考虑为6的情况,只考虑为8的情况!!!
How to ‘calculate’ the growth function?
成长函数growth function最多最多有2的N次方个。
1.growth function for positive rays
positive rays也就是1维感知机perceptron的一半,只考虑了正向的部分。
当有4个点时是怎么分的?
补充:growth function for positive and negative rays,也就等价于一维感知机
此时的成长函数=2(N-1)+1+1=2N,其中两个1分别代表:全是圆圈和全是叉叉的情况。
2.growth function for positive intervals,正向区间
当inputs为4时,
前4个,区间的起点在x1的左边,保证x1是在区间内,划分为“圆圈”,再将区间的右端点依次向右移动,依次将x2,x3,x4包括进来,其中包括全部都是“圆圈”;
接下来的3个,区间的起点在x1的右边,保证x1在区间外,划分为“叉叉”,再依次将右端点往右移动;
再接下来的3个,区间的起点在x2的右边,保证x1,x2都在区间外,划分为“叉叉”,再依次将右端点往右移动;
最后的3个,区间的起点在x3的右边,保证x1,x2,x3都在区间外,划分为“叉叉”,再将右端点往右移动;
3.growth function for convex sets凸集
convex sets是二维的,蓝色区域是h(x)=+1的情况,粉色区域是h(x)=-1的情况。
对其进行极端的假设,N inputs(x1,x2,x3……)都分布在蓝色区域圆圈的边缘上,所以把边界上的h(x)=+1的点全部连接起来就是一个凸多边形,保证凸多边形内部都满足h(x)=+1.
把这些N inputs称为“shattered”打碎的。
4种成长函数growth function
多项式:good;指数:bad。
不等号在上面的四种成长函数中都满足吗?
第一种,满足不等式,不等号前面的部分是多项式,后面的指数函数在N足够大时会很快地减小,可以满足小于等于;
第二种,满足不等式,不等号前面的部分是多项式;
第三种,不一定满足不等式,在不等号前面的部分也是指数,无法判断不等号前后的大小关系;
第四种呢?2维感知机的成长函数到底是指数还是多项式?下一节课再来解释。
- 机器学习基石-05-3-Effective Number of Hypotheses
- 机器学习基石 5.3 Effective Number of Hypotheses
- Lecture5-3Effective number of hypotheses
- 机器学习基石 5.2 Effective Number of Lines
- 机器学习基石-3-Types of Learning
- 机器学习基石笔记 Lecture 3 - Types of Learning
- 机器学习基石2-3 Guarantee of PLA
- 机器学习基石-07-3-Physical Intuition of VC Dimension
- 机器学习基石-10-3-Gradient of Logistic Regression Error
- 机器学习基石 2.3 Guarantee of PLA
- 机器学习基石-Types of Learning
- 机器学习基石-Feasibility of Learning
- 机器学习基石-The theory of generation
- 机器学习基石-Hazard of Overfitting
- 台湾大学林轩田机器学习基石课程学习笔记3 -- Types of Learning
- 机器学习基石——第3-4讲.Types of Learning
- 【笔记】机器学习基石(三)type of learning
- 机器学习基石第三讲:types of learning
- 汉诺塔3
- Python学习之Numpy
- 深入JVM内核—原理与优化之六类加载器
- 12、Oracle的子查询
- 汉诺塔4
- 机器学习基石-05-3-Effective Number of Hypotheses
- union
- 汉诺塔5
- 模板继承
- 考研数学150:满分是如何炼成的?
- poj1321 dfs(八皇后变形)
- 10大反直觉的数学结论
- 《红楼梦》告诉你,什么才是真正的教养
- 设计实现微信公众号新增素材页面,用于添加公众号临时,永久素材