标准化,归一化和正则化
来源:互联网 发布:秋水到底喜欢谁知乎 编辑:程序博客网 时间:2024/04/30 18:24
0.参考文献
关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
1.标准化
用的最多的是 z-score标准化
公式为 (X - mean)/ std
计算时对每个属性(每列)分别进行。
将数据按其属性(一般是按列)减去其均值,并除以其标准差,得到的结果是,对每个属性来说,所有数据都聚集在0附近,方差为1.
实现方式:
1.
2. 使用sklearn.preprocessing.scale()函数,可以直接将给定数据进行标准化。
from sklearn import preprocessingimport numpy as npX=np.array([[1,-1,2], [2,0,0], [0,1,-1]])X_scaled = preprocessing.scale(X)>>>X_scaledarray([[0. ...,-1.22...,1.33...], [ 1.22..., 0. ..., -0.26...], [-1.22..., 1.22..., -1.06...]])处理后的均值和方差:X_scaled.mean(axis=0)array([0,0,0])X_scaled.std(axis=0)array([1,1,1])
2.
使用sklearn.preprocessing.StandardScaler类,使用该类的好处在于可以保存训练集中的参数(均值、方差)直接使用其对象转换测试集数据。
>>>scaler = preprocessing.StandardScaler().fit(X)>>>scalerStandardScaler(copy=True,with_mean=True,with_std=True)>>>scaler.mean_>array([1,0,0.33])>>>scaler.transform(X)array([[ 0. ..., -1.22..., 1.33...], [ 1.22..., 0. ..., -0.26...], [-1.22..., 1.22..., -1.06...]])
2.将属性缩放到一个指定范围(比如0-1)
另一种常用的方法是将属性缩放到一个指定的最大值和最小值之间,这可以通过preprocessing.MinMaxScaler
类实现。
使用这种方法的目的包括:
1.对于方差非常小的属性可以增强其稳定性
2.维持稀疏矩阵中为0的条目
(x-min)/(max-min)
X_train = np.array( [[1,-1,2], [2,0,0], [0,1,-1]])min_max_scaler = preprocessing.MinMaxScaler()X_train_minmax = min_max_scaler.fit_transform(X_train)>>> X_train_minmaxarray([[ 0.5 , 0. , 1. ], [ 1. , 0.5 , 0.33333333], [ 0. , 1. , 0. ]])#将相同的缩放应用到测试集数据中X_test = np.array([[-3, -1, 4]])X_test_minmax = min_max_scler.transform(X_test)>>> X_test_minmaxarray([[-1.5 , 0. , 1.66666667]])#缩放因子等属性>>>min_max_scaler.scale_array([0.5, 0.5, 0.33])>>>min_max_scaler.min_array([0, 0.5, 0.33])在构造对象时也可以直接指定最大最小值的范围:feature_range=(min, max),此时公式变为:X_std = (X - X.min(axis=0))/(X.max(axis=0)-X.min(axis=0))X_scaled= X_std/(max-min)+min
3.正则化(Normalization)
正则化:将每个样本缩放到单位范数(每个样本的范数为1),如果后面要使用如二次型(点积)或者其他核函数方法计算两个样本之间的相似性,这个方法会很有用。
Normalization主要思想是对每个样本计算其p-范数,然后对该样本中每个元素除以该范数,这样处理的结果是是的每个处理后样本的p-范数(L1-norm, L2-norm)等于1。
p-范数的计算公式:||x||p=(|x1|^p+|x2|^p+…+|xn|^p)^(1/p)
该方法主要应用在文本分类和聚类中。例如,对于两个TF-IDF向量的I2-norm进行点积,就可以得到这两个向量的余弦相似性。
1.可以使用preprocessing.normalize()函数对指定数据进行转换。
X= [[ 1., -1., 2.], [ 2., 0., 0.], [ 0., 1., -1.]]X_normalized = preprocessing.normalize(X, norm='l2')X_normalizedarray([[ 0.40..., -0.40..., 0.81...], [ 1. ..., 0. ..., 0. ...], [ 0. ..., 0.70..., -0.70...]])
怎么算出来的呢?
按行算:[1,-1,2]的L2范数是(1^2+(-1)^2+2^2)^(1/2)=6^(1/2)=2.45第一行的每个元素除以L2范数,得到:[1/2.45, -1/2.45, 2/2.45] = [0.4, -0.4, 0.8..]第二行和第一行一样,也是算自己的L2范数:(2^2+0^2+0^2)^(1/2)=2,[ 2/2, 0/2, 0/2]=[1,0,0]……
2.可以使用processing.Normalizer()类实现对训练集合测试集的拟合和转换:
normalizer = preprocessing.Normalizer().fit(X) # fit does nothing>>>normalizerNormalizer(copy=True, norm='l2')>>>normalizer.transform(X)array([[ 0.40..., -0.40..., 0.81...], [ 1. ..., 0. ..., 0. ...], [ 0. ..., 0.70..., -0.70...]])>>> normalizer.transform([[-1., 1., 0.]]) array([[-0.70..., 0.70..., 0. ...]])
- 标准化,归一化和正则化
- 正则化,归一化和标准化
- 归一化 标准化 正则化
- 归一化、标准化和正则化的关系
- 归一化、标准化和正则化的关系
- preprocessing(归一化/标准化/正则化)
- python归一化、标准化、正则化
- 数据预处理 - 归一化/标准化/正则化
- 数据的规范化,归一化,标准化,正则化
- 关于数据标准化,归一化,正则化
- 数据标准化和归一化
- 数据标准化和归一化
- 归一化和标准化
- 标准化和归一化
- [Scikit-Learn] - 数据预处理 - 归一化/标准化/正则化
- 特征的转换_03-标准化,归一化,正则化
- sklearn进行数据预处理-归一化/标准化/正则化
- 机器学习_标准化和归一化
- 消息提示页面跳转
- android studio绑定git进行项目多人合作开发及代码托管
- 一笔画问题-判断连通性+欧拉图
- 模拟彩票刮奖优化全屏
- 队列
- 标准化,归一化和正则化
- LeetCode--1. Two Sum
- 第四章:怎样搭建一个完整的便于优化的网站
- CountDownLatch的使用
- windows下 hadoop2.4.0 eclipse 插件安装及配置
- bug宝典JAVA篇 Authentication failed for token
- Ubuntu16.04 python3.5.2 install OpenCV3
- 略谈多态
- 哈尔滨理工大学软件学院ACM程序设计全国邀请赛(网络同步赛)A Golds 最大流