[每日问答]特征选择有哪些方法?
来源:互联网 发布:四川广电网络客服电话 编辑:程序博客网 时间:2024/05/16 09:07
Filter:过滤式,先对数据集进行特征选择,然后再训练学习器。
(1)方差选择法
使用方差选择法,先要计算各个特征的方差,然后根据阈值,选择方差大于阈值的特征。
(2)相关系数法
使用相关系数法,先要计算各个特征对目标值的相关系数以及相关系数的P值。
(3)卡方检验
经典的卡方检验是检验定性自变量对定性因变量的相关性。假设自变量有N种取值,因变量有M种取值,考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距,构建统计量。
(4)互信息
经典的互信息也是评价定性自变量对定性因变量的相关性的。
Wrapper:包裹式,把最终要使用的学习器性能作为特征子集的评价准则。
(1)递归特征消除法
递归消除特征法使用一个基模型来进行多轮训练,每轮训练后,消除若干权值系数的特征,再基于新的特征集进行下一轮训练。
Embedded:嵌入式,再学习器训练的过程中自动的进行特征选择。
(1)使用L1,L2正则化项
L1正则化项使解更为稀疏,L2正则化项使解更为平滑。L1惩罚项降维的原理在于保留多个对目标值具有同等相关性的特征中的一个,所以没选到的特征不代表不重要。可结合L2惩罚项来优化。具体操作为:若一个特征在L1中的权值为1,选择在L2中权值差别不大且在L1中权值为0的特征构成同类集合,将这一集合中的特征平分L1中的权值。
参考文献
1.https://www.zhihu.com/question/28641663
2.周志华老师的机器学习
1 0
- [每日问答]特征选择有哪些方法?
- [每日问答]模型融合的方式有哪些?
- [每日问答]特征选择和数据降维的区别?
- [每日问答]无约束最优化问题有哪些解法?
- 机器学习中,有哪些特征选择的工程方法?
- 机器学习中,有哪些特征选择的工程方法?
- 机器学习中,有哪些特征选择的工程方法?
- 机器学习中,有哪些特征选择的工程方法?
- [每日问答]生成方法和判别方法有什么区别?
- 面向对象有哪些特征
- [每日问答]归一化的作用是什么?
- [每日问答]离散化的作用是什么?
- [每日问答]正负样本不平衡应该怎么处理?
- [每日问答]缺失值如何处理?
- 特征选择方法
- 特征选择的方法
- 特征选择方法综述
- 特征选择方法总结
- 统计学习方法读书笔记--4.朴素贝叶斯法
- String,StringBuffer与StringBuilder的区别
- latex总结
- 汉诺塔III
- Java Thread 源码解析
- [每日问答]特征选择有哪些方法?
- ReactNative学习历程
- 利用 Profiler(性能分析器)查看游戏在移动真机上的性能消耗数据
- 剑指offer——二叉树的深度
- 字符数组和字符串的区别
- 库存管理系统中登录验证中出现的问题
- 1038. 统计同成绩学生(20)
- Ureal编译器的快捷使用
- ubuntu14.04+cuda8.0配置