基于python包scikit-learn的数据预处理方法

1、标准化

数据集的* 标准化 对于在scikit中的大部分机器学习算法来说都是一种 常规要求 * 。

如果单个特征没有或多或少地接近于标准正态分布：* 零均值和单位方差 *的高斯分布，那么它可能并不能在项目中表现出很好的性能。

例如, 许多学习算法中目标函数的基础都是假设所有的特征都是零均值并且具有同一阶数上的方差(比如径向基函数、支持向量机以及L1L2正则化项等)。

如果某个特征的方差比其他特征大几个数量级，那么它就会在学习算法中占据主导位置，导致学习器并不能像我们说期望的那样，从其他特征中学习。

>>> from sklearn import preprocessing>>> import numpy as np>>> X = np.array([[ 1., -1.,  2.],...               [ 2.,  0.,  0.],...               [ 0.,  1., -1.]])>>> X_scaled = preprocessing.scale(X)>>> X_scaled                                          array([[ 0.  ..., -1.22...,  1.33...],       [ 1.22...,  0.  ..., -0.26...],       [-1.22...,  1.22..., -1.06...]])

---

参考：

1. 数据预处理；
2. scikitleran数据预处理