Relief 特征选择算法简单介绍
来源:互联网 发布:autodesk123d for mac 编辑:程序博客网 时间:2024/06/05 17:30
相关文章
特征选择
LVW(Las Vegas Wrapper)特征选择算法简单介绍
Relief(Relevant Features)是著名的过滤式特征选择方法,Relief 为一系列算法,它包括最早提出的 Relief 以及后来拓展的 Relief-F 和 RRelief-F ,其中最早提出的 Relief 针对的是二分类问题,RRelief-F 算法可以解决多分类问题,RRelief-F 算法针对的是目标属性为连续值的回归问题。
1、原始的 Relief 算法
最早提出的 Relief 算法主要针对二分类问题,该方法设计了一个“相关统计量”来度量特征的重要性,该统计量是一个向量,向量的每个分量是对其中一个初始特征的评价值,特征子集的重要性就是子集中每个特征所对应的相关统计量之和,因此可以看出,这个“相关统计量”也可以视为是每个特征的“权值”。可以指定一个阈值
有了 Relief 的基本思想,那么现在的问题就转换成如何得到一种有效的权值或者相关统计量类对特征进行度量,Relief 借用了“假设间隔”(
其中,
我们知道,当一个属性对分类有利时,则该同类样本在该属性上的距离较近,而异类样本在该属性上的距离较远,因此,若将假设间隔推广到对属性的评价中,则对应于公式(1)圆括号中的第一项越小,第二项越大,则该属性对分类越有利。“假设间隔”能对各维度上的特征的分类能力进行评价,从而就可以近似地估计出对分类最有用的特征子集,Relief 正是利用了这个特性。
假设训练集
其中,
对离散型属性:
对连续型属性:
注:
从公式(2)中可以看出,若
公式(2)得到的是单个样本对每个属性的评价值,将所有样本对同一个属性的评价值进行平均就得到了该属性的相关统计分量,分量值越大,分类能力就越强。
2、Relief-F
Relief 算法只能直接处理两分类的特征选择,改进的 Relief-F 算法能够处理多分类问题,它将多分类视为是一类对多类直接加以解决。其方法是寻找当前样本的各类最近邻点并综合加以计算。
假设数据集为
其中,
【参考文献】
《机器学习》周志华著.–北京:清华大学出版社
- Relief 特征选择算法简单介绍
- 特征选择算法-Relief
- 特征选择算法-Relief(转)
- 特征选择算法-Relief(转)
- 特征选择之relief及reliefF算法
- 特征选取relief算法
- RELIEF Feature Selection(RELIEF特征选择) Python实现
- LVW(Las Vegas Wrapper)特征选择算法简单介绍
- 西瓜书《机器学习》课后答案——chapter11_11.1 Relief特征选择算法
- 机器学习:特征选择之 Filter :Relief方法
- relief算法
- TLD算法特征选择
- TLD算法特征选择 .
- 特征选择算法
- 特征选择常用算法
- 特征选择算法总结
- R:特征选择算法
- 特征选择常用算法
- jQuery层次选择器总结
- 初识指针
- YYModel 源码解析
- Android获取昨天今天明天后天代码实现。以及月份前去掉前缀0
- [编译]Makefile兼APUE解析(UNP12)
- Relief 特征选择算法简单介绍
- 正则表达式学习笔记
- 【BZOJ 1854】【SCOI 2010】游戏【并查集 & 二分图匹配】
- mac环境下mysql插入中文字符串报错问题解决
- json与字符串转换
- Java
- |算法讨论|并查集 学习笔记
- 算法思想汇总(java实现)【持续更新中】
- mybatis传set参数