理解归纳偏置
来源:互联网 发布:windows loader 编辑:程序博客网 时间:2024/06/08 07:21
阅读有关多任务学习材料的过程中,多次接触过归纳偏置的概念,现将一些理解整理如下:
归纳偏置是什么?
机器学习试图去建造一个可以学习的算法,用来预测某个目标的结果。要达到此目的,要给于学习算法一些训练样本,样本说明输入与输出之间的预期关系。然后假设学习器在预测中逼近正确的结果,其中包括在训练中未出现的样本。既然未知状况可以是任意的结果,若没有其它额外的假设,这任务就无法解决。这种关于目标函数的必要假设就称为归纳偏置(Mitchell, 1980; desJardins and Gordon, 1995)。
归纳偏置有哪些?
最大条件独立性(conditional independence):如果假说能转成贝叶斯模型架构,则试着使用最大化条件独立性。这是用于朴素贝叶斯分类器(Naive Bayes classifier)的偏置。
最小交叉验证误差:当试图在假说中做选择时,挑选那个具有最低交叉验证误差的假说,虽然交叉验证看起来可能无关偏置,但天下没有免费的午餐理论显示交叉验证已是偏置的。
最大边界:当要在两个类别间画一道分界线时,试图去最大化边界的宽度。这是用于支持向量机的偏置,它假设不同的类别是由宽界线来区分。
最小描述长度(Minimum description length):当构成一个假设时,试图去最小化其假设的描述长度。假设越简单,越可能为真的。见奥卡姆剃刀。
最少特征数(Minimum features):除非有充分的证据显示一个特征是有效用的,否则它应当被删除。这是特征选择(feature selection)算法背后所使用的假设。
最近邻居:假设在特征空间(feature space)中一小区域内大部分的样本是同属一类。给一个未知类别的样本,猜测它与它最紧接的大部分邻居是同属一类。这是用于最近邻居法的偏置。这个假设是相近的样本应倾向同属于一类别。
阅读全文
0 0
- 理解归纳偏置
- 归纳偏置
- 机器学习中理解算法的归纳偏置(偏好)
- 浅谈归纳偏置
- 归纳偏置:ML学习能力的前提条件
- 小结某些机器学习算法归纳偏置
- machine learning(1)--概念学习和归纳偏置
- ML的45问(1)——概念学习、归纳偏置与候选消除法
- 决策树归纳分类算法理解
- 对递归的理解归纳
- 偏置电路
- 偏置电阻
- 归纳
- 三极管基极偏置电阻
- 运放偏置微分
- 3.2 偏置-方差分解
- 偏置电阻的作用
- 关于偏置-方差分解
- 使用thymeleaf模版的问题
- 什么是restful风格
- IOS--如何从第N级界面返回到一级界面(即添加在UITabbarController上的UIController)
- Python range() 函数用法
- Nginx 502 bad gateway问题的解决方法
- 理解归纳偏置
- 考试总结17
- java 集合整理
- TLV320AIC310X音频
- Mybatis 接口用public 和默认修饰符的区别
- MVVM框架Vue基础
- UnicodeEncodeError: 'ascii' codec can't encode characters in position 32-34: ordinal not in range128
- 编程之美:1的数目
- Javascript创建对象的5种姿势