机器学习——特征工程之子集搜索与评价
来源:互联网 发布:ubuntu搭建owncloud 编辑:程序博客网 时间:2024/05/16 07:06
一、前言
1、特征:描述目标对象的属性
2、特征类型
a) 相关特征:对于当前学习任务有用的属性,即与目标对象非常相关的特征
b) 无关特征:对于当前学习任务无用的属性,即与目标对象无关的特征
c) 冗余特征:其包含的信息可通过其它特征推演
3、特征选择:从给定的特征集合中选择出相关特征子集的过程
4、特征选择的理由
a) 缓解维数灾难问题,该动机类似于特征降维
b) 去除不相关特征往往会降低学习任务的难度
二、子集搜索与评价
1、背景:从初始特征集合中选取一个包含了所有重要信息的特征子集,若没有任何领域知识作为先验假设,那就只好遍历所有可能子集,可能遭遇组合爆炸
2、解决方式:产生“候选子集”并对其进行评价,基于评价结果产生下一个候选子集,重复以上操作直到无法找到更好的候选子集
3、子集搜索(贪心搜索减少计算,寻找局部最优而非全局)
a) 前向搜索:将每个特征看作一个候选子集,逐渐增加相关特征的策略
b) 后向搜索:从完整的特征集合开始,逐渐减少无关特征的策略
c) 双向搜索:结合前向和后向,每轮增加选定相关特征,同时减少无关特征
4、 子集评价:常用信息增益评价子集,类似决策树(可用来做特征选择)
5、 特征选择 = 子集搜索机制 + 子集评价机制
6、 常见特征选择方法大致分类:过滤式(filter)、包裹式(wrapper)和嵌入式(embedding)
阅读全文
0 0
- 机器学习——特征工程之子集搜索与评价
- 机器学习——特征工程之特征选择
- 机器学习——特征工程之流形学习
- 机器学习——特征工程之概述
- 机器学习——特征工程之数据预处理
- 机器学习——特征工程之线性判别分析LDA
- 机器学习之特征工程
- 机器学习之特征工程
- 机器学习之特征工程
- 机器学习之特征工程
- 机器学习之特征工程
- 机器学习 特征工程之特征选择
- 机器学习 特征工程之特征选择
- 机器学习之特征工程-特征选择
- 机器学习深入与强化--特征工程
- 机器学习之sklearn特征工程
- 机器学习之特征工程(一)
- 机器学习之特征工程(二)
- python os.stat() 和 stat模块详解
- Android布局之RecyclerView初级入门介绍及相关教程
- HDU 1058 Humble Numbers
- 发送通知+违规字符
- 将图片的BitMap类转化为File文件
- 机器学习——特征工程之子集搜索与评价
- 第三方QQ登录
- 点击弹出图片
- Python测试框架doctest
- 数学 喝喝喝
- 网站建设
- MVP
- linux 进程间通信之管道和有名管道
- 实验报告四:用可重用的链表模块来实现命令行菜单小程序V2.5