LVW（Las Vegas Wrapper）特征选择算法简单介绍

相关文章
特征选择
Relief 特征选择算法简单介绍

　　LVW（Las Vegas Wrapper）是一种典型的包裹式特征选择方法，它在拉斯维加斯方法框架下使用随机策略来进行子集搜索，并以最终分类器的误差为特征子集评价准则。

1、拉斯维加斯方法概述

　　LVW 基于拉斯维加斯方法的框架，拉斯维加斯方法是一个典型的随机化方法，即概率算法中的一种。它具有概率算法的特点，允许算法在执行的过程中随机选择下一步，许多情况下，当算法在执行过程中面临一个选择时，随机性选择常比最优选择要省时，因此概率算法可在很大程度上降低算法的复杂度。
　　
　　拉斯维加斯方法和蒙特卡洛方法是两个以著名赌场命名的随机化方法，两者的比较与分析如下：
　　（1）与蒙特卡罗算法类似，拉斯维加斯算法找到正确解的概率随着它所用的计算时间的增加而提高。对于所求解问题的任一实例，用同一拉斯维加斯算法反复对该实例求解足够多次，可使求解失败的概率任意小。
　　（2）拉斯维加斯算法不会得到不正确的解，一旦用拉斯维加斯算法找到一个解，那么这个解一定就是正确的解，但有时用拉斯维加斯算法找不到解。而蒙特卡洛方法一定会给出解，虽然给出的解未必满足要求。若无时间限制，则两者都能给出满足要求的解。

2、LVW 算法

　　LVW 基于拉斯维加斯方法的框架，假设数据集为 D，特征集为 A，则 LVW 每次从特征集 A 中随机产生一个特征子集 A′，然后使用交叉验证的方法（伪代码的第 8 步）估计学习器在特征子集 A′ 上的误差，若该误差小于之前获得的最小误差，或者与之前的最小误差相当但 A′ 中包含的特征数更少，则将 A′ 保留下来。
　　
　　算法的伪代码如下所示：

　　由于 LVW 算法每次评价子集 A′ 时，都需要重新训练学习器，计算开销很大，因此设置了参数 T 来控制停止条件。但当特征数很多（即 |A| 很大）并且 T 设置得很大时，可能算法运行很长时间都不能停止。

【参考文献】
《机器学习》周志华著.–北京：清华大学出版社