数据预处理之独热编码(One-Hot Encoding)
来源:互联网 发布:python 元组 相等 编辑:程序博客网 时间:2024/05/22 00:53
转自:http://www.cnblogs.com/lzh-cnblogs/p/3764749.html
问题由来
在很多机器学习任务中,特征并不总是连续值,而有可能是分类值。例如, 性别,国籍等等。这类变量不能直接在机器学习的模型中应用(决策树和Bayesian模型除外)
例如,考虑一下的三个特征:
["male", "female"]
["from Europe", "from US", "from Asia"]
["uses Firefox", "uses Chrome", "uses Safari", "uses Internet Explorer"]
如果将上述特征用数字表示,效率会高很多。例如:
["male", "from US", "uses Internet Explorer"] 表示为[0, 1, 3]
["female", "from Asia", "uses Chrome"]表示为[1, 2, 1]
但是,即使转化为数字表示后,上述数据也不能直接用在我们的分类器中。因为,分类器往往默认数据数据是连续的,并且是有序的。但是,按照我们上述的表示,数字并不是有序的,而是随机分配的。
独热编码
为了解决上述问题,其中一种可能的解决方法是采用独热编码(One-Hot Encoding)。
独热编码即 One-Hot 编码,又称一位有效编码,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候,其中只有一位有效。
例如:
自然状态码为:000,001,010,011,100,101
独热编码为:000001,000010,000100,001000,010000,100000
可以这样理解,对于每一个特征,如果它有m个可能值,那么经过独热编码后,就变成了m个二元特征。并且,这些特征互斥,每次只有一个激活。因此,数据会变成稀疏的。
这样做的好处主要有:
解决了分类器不好处理属性数据的问题
在一定程度上也起到了扩充特征的作用
举例
我们基于python和Scikit-learn写一个简单的例子:
from sklearn import preprocessing
enc = preprocessing.OneHotEncoder()
enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])
enc.transform([[0, 1, 3]]).toarray()
输出结果:
array([[ 1., 0., 0., 1., 0., 0., 0., 0., 1.]])
- 数据预处理之独热编码(One-Hot Encoding)
- 数据预处理之独热编码(One-Hot Encoding)
- 数据预处理:独热编码(One-Hot Encoding)
- 数据预处理:独热编码(One-Hot Encoding)
- 机器学习 数据预处理之独热编码(One-Hot Encoding)
- 机器学习 数据预处理之独热编码(One-Hot Encoding)
- 独热编码(One-Hot Encoding)
- 独热编码(One-Hot Encoding)
- One-Hot Encoding独热编码
- 独热编码(One-Hot Encoding)
- 独热编码(One-Hot Encoding)介绍及实现
- 【机器学习】one hot encoding 独热编码
- one-hot coding(热独编码)
- 【Machine Learning】特征工程之独热编码(One-hot Encoding)
- 独热编码(One-Hot Encoding)及在CNN中的应用
- pandas中利用get_dummies()进行独热编码(One-Hot encoding)
- 数据预处理(2)—— One-hot coding 独热编码#分别使用 pandans.dummies 和 sklearn.feature_extraction.DictVectorizer 进行处理
- one-hot独热编码问题
- 学习开源项目源码,培养真才实学
- Java序列化与反序列化
- 读写操作
- Eclipse使用Git基本流程
- CSS3弹性伸缩布局(二)——flex布局
- 数据预处理之独热编码(One-Hot Encoding)
- codeforce 120F 【树的直径】
- OJ题:将一个数倒置输出
- 1717 小数化分数2
- 给LinearLayout设置动画(可以逐条出来动画效果)
- AndroidScannerDemo移植总结
- linux下获取程序当前目录绝对路径
- sigaction函数解析
- API 返回结果设计经验与总结