Pyhton 中的Scale 和Normalization(正则化)
来源:互联网 发布:论文数据下带括号 编辑:程序博客网 时间:2024/05/05 22:32
谈一下Python中sklearn.preprocessing与数据预处理相关的函数
一、Scale包括两部分:Standardization(标准化)和Centering(归一化)
1、Standardization:
newX = (X- 均值) / 标准差(standard deviation), newX 的均值=0,方差= 1,可用于发现离群点,Python中计算函数为preprocessing.scale和preprocessing.StandardScale,区别在于preprocessing.StandardScale可以保存测试集上的均值、标准差,从而在训练集做一样的处理,
2、Centering:
newX = (X- min) / (max-min),newX范围(0,1)preprocessing.minmax_scale或preprocessing.MinMaxScaler,区别在于preprocessing.MinMaxScaler可以在测试集应用
newX= X / max,newX范围(-1,1) preprocessing.maxabs_scale或preprocessing.MaxAbsScale,区别同上。
二、Normalization(正则化):正则化的过程是将每个样本缩放到单位范数(每个样本的范数为1),可通过preprocessing.normalize()或preprocessing.Normalizer()进行转换。preprocessing.normalize()中的参数norm可以选择不同的范式标准(l1,l2,max)
p-范数的计算公式:||X||p=(|x1|^p+|x2|^p+...+|xn|^p)^1/p,l1,l2范式分别指p=1或p=2的结果
Standardization(标准化)和Centering(归一化)处理后的结果没有太大差别,建议采用标准化,采用梯度下降时一般用归一化,在文本分类和聚类是采用Normalization(正则化)。
- Pyhton 中的Scale 和Normalization(正则化)
- Scale(标准化)和Normalization(正则化) 区别
- batch normalization 中的 beta 和 gamma参数
- caffe中BatchNorm层和Scale层实现批量归一化(batch-normalization)注意事项
- pyhton 正则表达式学习
- pyhton正则表达式学习
- ArcGIS切图config中的Scale和Resolution
- tensorflow中正则化防止过拟合以及Batch Normalization
- NSGAIII中的normalization objectives
- caffe中的normalization实现
- pyhton 迭代器和生成器
- pyhton常量和变量
- pyhton reverse() 和 reversed()
- speed improvement by merging batch normalization and scale
- Scale up和Scale out
- Scale Up和Scale Out
- Scale horizontally和Scale vertically
- 嵌入式 pyhton中的print语句
- MySQL数据库备份和恢复
- VB中将10个数大到小排列
- VB中列出十个数
- 15电气1吕四旺
- vb老师的15个数由大到小排列
- Pyhton 中的Scale 和Normalization(正则化)
- WSGI是什么
- 电气一班 冯彬 作业一
- Ubuntu搭建NFS文件服务器
- TOJ 1779.Tri Tiling
- 随机排列
- LeetCode 24. Swap Nodes in Pairs
- 计时器的制作
- 15电气郑明雨