机器学习中的归一化方法（Normalization Method）

机器学习、数据挖掘工作中，数据前期准备、数据预处理过程、特征提取等几个步骤几乎要花费数据工程师一半的工作时间。同时，数据预处理的效果也直接影响了后续模型能否有效的工作。然而，目前的大部分学术研究主要集中在模型的构建、优化等方面，对数据预处理的理论研究甚少，可以说，很多数据预处理工作仍然是靠工程师的经验进行的。从业数据建模/挖掘工作也有近2年的时间，在这里结合谈一谈数据预处理中归一化方法。

在之前的博客中转载了一篇关于维归约的文章：数据预处理之归一化。论述的比较简单，有兴趣的可以先了解一下。

在这里主要讨论两种归一化方法：

归一化方法有两种形式，一种是把数变为（0，1）之间的小数，一种是把有量纲表达式变为无量纲表达式。

数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。

下面是归一化和没有归一化的比较：

没有经过归一化，寻找最优解过程如下：

经过归一化，把各个特征的尺度控制在相同的范围内：

从经验上说，归一化是让不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。

1、线性函数归一化(Min-Max scaling)

线性函数将原始数据线性化的方法转换到[0 1]的范围，归一化公式如下：

该方法实现对原始数据的等比例缩放，其中Xnorm为归一化后的数据，X为原始数据，Xmax、Xmin分别为原始数据集的最大值和最小值。

2、0均值标准化(Z-score standardization)

0均值归一化方法将原始数据集归一化为均值为0、方差1的数据集，归一化公式如下：

其中，μ、σ分别为原始数据集的均值和方法。该种归一化方式要求原始数据的分布可以近似为高斯分布，否则归一化的效果会变得很糟糕。

以上为两种比较普通但是常用的归一化技术，那这两种归一化的应用场景是怎么样的呢？什么时候第一种方法比较好、什么时候第二种方法比较好呢？下面做一个简要的分析概括：

1、在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，第二种方法(Z-score standardization)表现更好。

2、在不涉及距离度量、协方差计算、数据不符合正太分布的时候，可以使用第一种方法或其他归一化方法。比如图像处理中，将RGB图像转换为灰度图像后将其值限定在[0 255]的范围。

为什么在距离度量计算相似性、PCA中使用第二种方法(Z-score standardization)会更好呢？我们进行了以下的推倒分析：

归一化方法对方差、协方差的影响：假设数据为2个维度(X、Y)，首先看0均值对方法、协方差的影响：

先使用第二种方法进行计算，我们先不错方差归一化，只做0均值化，变换后数据为

x′=x−x¯ 、 y′=y−y¯

新数据的协方差为

σ′xy=1n−1∑in(x′i−x¯′)(y′i−y¯′)

由于 x¯′=0、 y¯′=0 ，因此

σ′xy=1n−1∑inx′iy′i

而原始数据协方差为

σxy=1n−1∑in(x′i−x¯′)(yi−y¯)

=1n−1∑in(x′i−0)(yi−y¯)

=1n−1∑in(xi−x¯)(yi−y¯)

因此 σ′xy=σxyσxy

做方差归一化后：

x′=x−x¯σx 、 y′=y−y¯σy

σ′xy=1n−1∑in(x′i−0)(y′i−0)

=1n−1∑in(x−x¯σx)(y−y¯σy)

=1(n−1)⋅σxσy∑in(xi−x¯)(yi−y¯)

⇒σ′xy=σxyσxσy

使用第一种方法进行计算，为方便分析，我们只对X维进行线性函数变换

x′=c⋅xi

y′−y¯

x′= c⋅xi

计算协方差

σ′xy=1n−1∑in(c⋅xi−c⋅x¯)(yi−y¯)

=cn−1∑in(xi−x¯)(yi−y¯)

⇒σxy=σ′xyc

⇒σ′xy=c⋅σxy

可以看到，使用第一种方法(线性变换后)，其协方差产生了倍数值的缩放，因此这种方式无法消除量纲对方差、协方差的影响，对PCA分析影响巨大；同时，由于量纲的存在，使用不同的量纲、距离的计算结果会不同。

而在第二种归一化方式中，新的数据由于对方差进行了归一化，这时候每个维度的量纲其实已经等价了，每个维度都服从均值为0、方差1的正态分布，在计算距离的时候，每个维度都是去量纲化的，避免了不同量纲的选取对距离计算产生的巨大影响。

总结来说，在算法、后续计算中涉及距离度量(聚类分析)或者协方差分析(PCA、LDA等)的，同时数据分布可以近似为状态分布，应当使用0均值的归一化方法。其他应用中更具需要选用合适的归一化方法。