one-hot enconding,类别型特征,非数值型特征。
来源:互联网 发布:竖琴 踏板 知乎 编辑:程序博客网 时间:2024/05/01 10:46
在计算广告领域,对于CTR,CVR,反作弊等内容时,对于categorical features,时常会用one-hot enconding 的处理方法。
借用互联网已有的博客,
在很多机器学习任务中,特征并不总是连续值,而有可能是分类值。
例如,考虑一下的三个特征:
["male",
"female"] ["from Europe",
"from US", "from Asia"] ["uses Firefox",
"uses Chrome", "uses Safari", "uses Internet Explorer"]
如果将上述特征用数字表示,效率会高很多。例如:
["male",
"from US", "uses Internet Explorer"] 表示为[0, 1, 3] ["female",
"from Asia", "uses Chrome"]表示为[1, 2, 1]
但是,即使转化为数字表示后,上述数据也不能直接用在我们的分类器中。因为,分类器往往默认数据数据是连续的,并且是有序的。但是,按照我们上述的表示,数字并不是有序的,而是随机分配的。
独热编码
为了解决上述问题,其中一种可能的解决方法是采用独热编码(One-Hot Encoding)。
独热编码即 One-Hot 编码,又称一位有效编码,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候,其中只有一位有效。
例如:
自然状态码为:000,001,010,011,100,101
独热编码为:000001,000010,000100,001000,010000,100000
可以这样理解,对于每一个特征,如果它有m个可能值,那么经过独热编码后,就变成了m个二元特征。并且,这些特征互斥,每次只有一个激活。因此,数据会变成稀疏的。
这样做的好处主要有:
解决了分类器不好处理属性数据的问题
在一定程度上也起到了扩充特征的作用
举例
我们基于python和Scikit-learn写一个简单的例子:
from sklearn import preprocessing
enc = preprocessing.OneHotEncoder()
enc.fit([[0, 0, 3],
[1, 1, 0], [0, 2, 1], [1, 0, 2]]) enc.transform([[0, 1, 3]]).toarray()
输出结果:
array([[ 1.,
0., 0., 1., 0., 0., 0., 0., 1.]]) 即对于 F1 F2 F3
0 0 3
1 1 0
1 0 2
可以编码成2+2+4 = 8个特征。
补充:
对于one-hot enconding 之后还可以进行特征筛选,比如enconding 之后有1000维特征,其中有500维是表现不好的,可以把表现不好的归为一维。
所以得到 500+1 维特征,不仅压缩特征。
- one-hot enconding,类别型特征,非数值型特征。
- One-Hot Encoding与类别特征处理
- Kaggle旧金山犯罪分类预测----非数值型特征问题
- 处理离散型特征和连续型特征共存的情况 归一化 论述了对离散特征进行one-hot编码的意义
- python的scikit-learn将特征转成one-hot特征
- 特征工程(如何合理地把非数值特征转换成数值特征)
- 【Machine Learning】特征工程之独热编码(One-hot Encoding)
- Python利用pandas/sklearn处理类别型特征;手动分段与离散化处理连续型特征
- Python整理类别型数值
- 通过两个特征维度,刻画类别分布
- 平均数编码:针对高基数定性特征(类别特征)的数据预处理/特征工程
- 非面向对象特征---静态
- 魅力型领导的特征
- 【Cffe特征图可视化】【特征图】【非权重图】
- 机器学习基础(三十七) —— 处理类别特征
- C++非面向对象的特征
- 非负谱分析用于特征选择
- C++非面向对象的特征
- LINK:fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏
- Android两种杀掉进程方式总结(System.exit()和Process.killProcess())
- 基于 openssl + vs2013 https服务端 Demo
- 使用CXF 做webservice简单例子
- android布局--总结
- one-hot enconding,类别型特征,非数值型特征。
- spring拦截器引起的问题
- iOS之富文本
- OC_协议实现代理委托模式
- IntelliJ IDEA使用教程
- c# uploadimage - httphelper
- iOS之轻松上手block
- 修改input-placeholder 默认色
- css hack整理