特征选择之支持向量机递归特征消除(SVM-RFE)
来源:互联网 发布:专业八字算命软件 编辑:程序博客网 时间:2024/06/06 01:11
支持向量机递归特征消除(下文简称SVM-RFE)是由Guyon等人在对癌症分类时提出来的,最初只能对两类数据进行特征提取。它是一种基于Embedded方法。
支持向量机
支持向量机广泛用于模式识别,机器学习等领域,SVM采用结构风险最小化原则,同时最小化经验误差,以此提高学习的性能。详细的SVM介绍请看我的另一篇博文《 线性支持向量机》
在这简单介绍一下SVM。
设训练集
SVM需要求解的优化问题为:
而原始问题可以转化为对偶问题:
其中,
最后
两分类的SVM-RFE算法
SVM-RFE是一个基于SVM的最大间隔原理的序列后向选择算法。它通过模型训练样本,然后对每个特征进行得分进行排序,去掉最小特征得分的特征,然后用剩余的特征再次训练模型,进行下一次迭代,最后选出需要的特征数。而特征
两分类SVM-RFE算法:
输入:训练样本
输出:特征排序集R
1)初始化原始特征集合S={1,2,…,D},特征排序集R=[]
2)循环以下过程直至S=[]
多分类的SVM-RFE算法
多分类的SVM-RFE算法其实和两分类的SVM-RFE算法类似,只不过在处理多分类时,把类别进行两两配对,其中一类为正类,另一类为负类,这样需训练
多分类SVM-RFE算法:
输入:训练样本集
输出:特征排序集R
1)初始化原始特征集合S={1,2,…,D},特征排序集R=[]
2)生成
3)循环一下过程直至S=[]:
参考
【Isabelle Guyon, Jason Weston et.al】Gene Selection for Cancer Classification using Support Vector Machines
【黄晓娟,张莉】改进的多类支持向量机递归特征消除在癌症多分类中的应用
【周志华】机器学习
- 特征选择之支持向量机递归特征消除(SVM-RFE)
- 特征选择之支持向量机递归特征消除(SVM-RFE)
- opencv 机器学习 SVM 支持向量机初探+Fourier Discriptor特征分类
- 选择支持向量机(SVM)核函数
- 支持向量机(SVM)
- SVM(支持向量机)
- 支持向量机(SVM)
- 支持向量机(SVM)
- 支持向量机(SVM)
- 支持向量机(SVM)
- 支持向量机(SVM)
- 支持向量机(SVM)
- 支持向量机(svm)
- 支持向量机(SVM)
- 支持向量机(SVM)
- 支持向量机(SVM)
- SVM(支持向量机)
- 支持向量机(SVM)
- 苹果开发之Cocoa编程(第三版) 第5章 Target/Action
- Android中Xml解析实战
- 不常见的事件
- EasyUI获取页面属性
- Android数据传输加密(二):AES加密
- 特征选择之支持向量机递归特征消除(SVM-RFE)
- Mycat从入门到放弃
- huffman编码的实现与详解
- MyBatis返回类型改如何选择?实体类 or Map。
- iOS实战——开发实战过程中的点点滴滴
- mysql存储引擎
- Kafka 安装-配置-监控 与集成springboot
- 第一周(2) MyFlag开发雏形构建
- android实现文件的断点上传