周志华机器学习读后总结 第10、11章

降维与度量学习

什么是降维学习

降维是一种分类算法，它是一种解决维数灾难的重要途径。例如二维数据经过投影变为一维数据从而更好的表征数据的特征，然后再进行识别；这就利用了降维的方法。

 

K邻近学习

k近邻学习是一种监督学习算法，它给定测试样本，基于某种距离度量找出与训练集最靠近的k个训练样本，然后基于这k个邻居信息来进行预测。K邻近学习方法有投票法（通常在分类任务中使用，判别方法是选择这k个样本中出现最多的类别标记作为预测结果），平均法（通常在回归任务中使用，判别方法是将这k个样本的实值输出标记的平均值作为预测结果），加权平均或加权投票（根据距离远近来决定权重，距离越近，权重越大）。

 

低维嵌入

在很多时候，人们观测或收集到的数据样本虽是高维的，但与学习任务密切相关的也许仅是某个低维分布，即高维空间中的一个低维嵌入。

    一种经典的降维方法是多维缩放（MDS）算法，一般来说欲获得低维子空间，最简单的是对原始高维空间进行线性变换。

 

主成分分析

主成分分析法（PCA）是最常用的一种降维方法：对于一组样本，如果存在一个超平面使得样本在上边的距离都足够近（最近重构性）或者投影都尽可能分开（最大可分性），那么这个超平面是对这组样本的一个很恰当的表示。那么这个超平面本身可以被看作是降维的目标空间，记该超平面由n维的正交基向量构成的矩阵W = {w1,w2,...,wn}，那么主成分分析降维算法（PCA）就是要找到这组正交基向量。

 

核化线性降维

在很多问题上，可能需要非线性映射才能找到恰当的低维嵌入。那么非线性降维常用的一种方法，就是基于核技巧对线性降维方法进行“核化”。例如核主成分分析（KPCA）。

 

流形学习

流行学习是一类借鉴了拓扑流形概念的降维方法，有两种著名的流形学习方法：等度量映射和局部线性嵌入。

等度量映射（isomap）算法：给定样本集D={x1,x2,…,xm}，近邻参数k，低维空间维数d/àm次的for循环内执行：确定xi的k近邻；xi与k近邻点之间的距离设置为欧氏距离，与其他点的距离设置为无穷大à调用最短路径算法计算任意两样本点之间的距离à将计算出来的距离作为MDS算法的输入à返回MDS算法的输出。

局部线性嵌入（LLE）算法：局部线性嵌入算法试图保持领域内样本之间的线性关系。

 

度量学习

在机器学习中，对高维数据进行降维的主要目的是希望找到一个合适的低维空间，在此空间中进行学习能比原始空间性能更好。事实上，每个空间对应了在样本属性上定义的一个距离度量，而寻找合适的空间，实质上就是在寻找一个合适的距离度量。因此我们可以尝试直接学习出一个合适的距离度量。也就是度量学习。欲对距离度量进行学习，我们需要为样本之间的距离计算加上权重，并可以根据具体样本来对权重进行训练，这个权重构成的矩阵我们称为度量矩阵。度量学习的目的就是计算出合适的度量矩阵，在实际计算时，我们可以将度量矩阵直接嵌入到近邻分类器的评价体系中去，通过优化该性能指标相应的求得度量矩阵。

 

特征选择与稀疏学习

什么是特征选择

对当前学习任务有用的属性称为相关特征，没什么用的属性称为无关特征；从给定的特征集合中选择出相关特征子集的过程称为特征选择。特征选择过程必须确保不丢失重要特征。

进行特征选择有两个好处：第一，维数灾难问题会大为减轻；第二，会降低学习任务的难度。

将特征子集搜索与子集评价机制相结合，即可得到特征选择方法；常见的特征选择方法可分为三类：过滤式、包裹式和嵌入式。

 

过滤式选择

过滤式方法先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关；这相当于先用特征选择过程对初始特征进行过滤，再用过滤后的特征来训练模型。Relief是一种著名的过滤式特征选择方法。

 

包裹式选择

包裹式特征选择直接把最终将要使用的学习器的性能作为特征子集的评价准则。换言之，包裹式特征选择的目的就是为给定学习器选择最有利于其性能、量身定做的特征子集。LVW是一个典型的包裹式特征选择方法。

 

嵌入式选择与L1正则化

嵌入式特征选择是将特征选择过程与学习器训练过程融为一体，通过PGD能使LASSO和其他基于L1范数最小化的方法得以快速求解。

 

稀疏表示与字典学习

数据集有稀疏表达形式时，能使大多数问题线性可分，并且稀疏样本不会造成存储上的巨大负担。特征选择所考虑问题是特征具有稀疏性。

    为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表示形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为字典学习。

 

压缩感知

压缩感知关注的是如何利用信号本身所具有的稀疏性，从部分观测样本中恢复原信号。压缩感知分为感知测量和重构恢复这两个阶段。