文本分类特征选择方法
来源:互联网 发布:零售软件是什么 编辑:程序博客网 时间:2024/04/30 12:26
1)DF(DocumentFrequency)文档频率
DF:统计特征词出现的文档数量,用来衡量某个特征词的重要性
2)MI(MutualInformation)互信息法
互信息法用于衡量特征词与文档类别直接的信息量。
如果某个特征词的频率很低,那么互信息得分就会很大,因此互信息法倾向"低频"的特征词。相对的词频很高的词,得分就会变低,如果这词携带了很高的信息量,互信息法就会变得低效。
3)(Information Gain) 信息增益法
通过某个特征词的缺失与存在的两种情况下,语料中前后信息的增加,衡量某个特征词的重要性。
4)CHI(Chi-square)卡方检验法
利用了统计学中的"假设检验"的基本思想:首先假设特征词与类别直接是不相关的
如果利用CHI分布计算出的检验值偏离阈值越大,那么更有信心否定原假设,接受原假设的备则假设:特征词与类别有着很高的关联度。
5)WLLR(Weighted LogLikelihood Ration)加权对数似然
6)WFO(WeightedFrequency and Odds)加权频率和可能性
阅读全文
0 0
- 文本分类特征选择方法
- 文本分类-特征选择方法
- 常用文本分类特征选择方法
- 文本分类特征选择法
- 文本分类中的特征选择
- 文本分类入门-特征选择方法之信息增益
- 文本分类的特征选择方法之信息增益
- 文本分类特征选择方法之信息增益
- 文本分类入门-特征选择方法之信息增益
- 特征选择--文本分类: 信息增益
- java实现文本分类中卡方特征选择
- 文本分类入门(十一)特征选择方法之信息增益
- 文本分类入门(十一)特征选择方法之信息增益
- 文本分类入门(十一)特征选择方法之信息增益
- 文本分类入门(十一)特征选择方法之信息增益
- 文本分类入门(十一)特征选择方法之信息增益
- 文本分类入门(十一)特征选择方法之信息增益
- 文本分类入门(十一)特征选择方法之信息增益
- 2017浙工大之江学院校赛D-数学||矩阵快速幂
- Python学习笔记02-列表与操作列表
- Android应用开发之所有动画使用详解
- H
- 20170602心情总结
- 文本分类特征选择方法
- 第十五周
- 最大生成树+链剖——Luogu1967 [NOIP2013]货车运输
- 生产者与消费者模型
- 使用Eclipse Babel语言包汉化eclipse
- 操作系统(Operating System)16 分布式处理,客户-服务器和集群
- css默认样式
- leetcode 515. Find Largest Value in Each Tree Row
- 支持向量机(SVM)常考点