C++实现Chi-square 特征词选择算法
来源：互联网 发布：stc8f单片机 编辑：程序博客网 时间：2024/05/19 18:45
作者：finallyliuyu(转载请标明原作者与出处)
在文本分类问题中，离不开特征词选择模块。特征选择是特征降维的关键步骤。
- 首先我们给出一般性的特征词选择模块的伪代码描述：
（此图摘自 C.D. Maning Introduction to InformationRetrieval 原版p251页 或者王斌译版p188页）
此处仅赘述两点，其他还劳请读者自己去看书
1。 上面的伪代码给出的是算法是针对某一个类别，按照某种测度（如IG,CHI-square）遴选出 top k个特征词；伪代码中的 ComputeFeatureUtility(D,t,c)。就是在计算上文提到的“某种测度”
2。针对某个分类问题，如何遴选出全部的特征词？
方法有很多，这里仅指出一种：假设有N个类别，共需要选取K个特征词，那么每个类别需要选取的特征词数目为K/N。
下面给出Chi-square的计算公式（出处同上，原版书p256页，王斌译作p192页）：
上面的公式和下面的公式是等价的，可以由下面的公式推导出上面的公式，在计算机实现上，我们通常采用上面的公式。
可以说上面的两个公式，通通是在构造一个chi-square 分布的检测统计量（test statistic）（在数理统计中 chi-square 常常用于检测两个事件之间的独立性，如果独立则 chi-square=0 相关知识请查阅 数理统计关于 假设检验的相关章节）
- 下面开始讲解chi-square特征词选择法的具体实现
主流的contingency table的定义。
针对某一个term t 和类别c
N11:该词出现在该类的多少篇文章中；
N10：该词出现的文章有多少篇不再该类中；
N01：该类别中有多少篇文章不含有该词；
N00:训练语料库中共有多少篇文章即不含该词，也不包含在该类中。
在给出实现代码之前，先来看一段对程序实现会有启发作用的话：
（出处同上，p257页）
这段话引出了一个数据结构：它保存了一个词在每个类别中出现和不出现的情况：比如有n个类别，那么这个数据结构的每一行保存的是：N11,N01。 在我的代码中，我把这个数据结构亦称作是contingency table和主流的contingency table定义可能会稍有区别，不过既然有了N11,N01,在根据程序中其他的数据结构很容易能够得到主流定义模式下的contingency table。
下面开始给出实现代码（如果程序中的一些函数的代码我没有给出，请参阅《K-means文本聚类系列（已经完成）》里面的相关函数）
用到的主要数据结构：
1。词典：保存一个词在训练语料集合中的每篇文章中出现的次数 数据类型map<string,vector<pair<int,int>> >
2。contingency table（功能见上面叙述） 数据类型：map<pair<string,string>,pair<int,int> >
map的键由两个部分组成第一个string代表term, 第二个string代表类别， 值中的第一个int 是 N11,第二个int 是N01
获得contingency table的函数
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
/************************************************************************//* 获得每个词的ContingencyTable *顶层map的键值为词的(term Text,classLabel)内层map的键值为类别名称pair<int,int>的第一个int表示某一类别c中含有term t的文章数目,第二个int表示该类别中不含有term t的文章数目*//************************************************************************/map<pair<string,string>,pair<int,int> >Preprocess::GetContingencyTable(map<string,vector<pair<int,int>> > &mymap, vector<string> classLabels){ clock_t start,finish; double totaltime; start=clock(); map<string,vector<int> >articleIdsEachClass=GetArticleIdinEachClass(classLabels); map<pair<string,string>,pair<int,int> >EntireContigencytable; //对于词袋子模型中的每个词 for(map<string,vector<pair<int,int> > >::iterator it=mymap.begin();it !=mymap.end();++it) { //对于每个类别 if(it->first!=""||it->first!=" ") { for(map<string,vector<int> >::iterator it1=articleIdsEachClass.begin();it1!=articleIdsEachClass.end();it1++) { int cntTheClass=(it1->second).size();//该类别共有文章数目 int termInTheClass=0;//该词在该类中出现的次数 for(vector<pair<int,int> >::iterator it2=(it->second).begin();it2!=(it->second).end();it2++) { termInTheClass+=count((it1->second).begin(),it1->second.end(),it2->first); } int termAbsentInTheClass=cntTheClass-termInTheClass; pair<string,string> compoundKey=make_pair(it->first,it1->first); pair<int,int> valueInfo=make_pair(termInTheClass,termAbsentInTheClass); EntireContigencytable[compoundKey]=valueInfo; termInTheClass=0;//清空计数； } } } finish=clock(); totaltime=(double)(finish-start)/CLOCKS_PER_SEC; cout<<"建立contingencyTable的时间为"<<totaltime<<endl; return EntireContigencytable;}由于构造contingency table 要远比 将构造好的contingency table序列化到硬盘，然后需要的时候读取到内存的时间长（我的机器上：建立contingency table 历时233.41sec，将contingency table从硬盘序列化到内存的时间为0.954 sec）所有这里给出了针对contingency table序列化和反序列化的函数
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
/************************************************************************//* 将关联表保存到本地硬盘 *//************************************************************************/void Preprocess::SaveContingencyTable(map<pair<string,string>,pair<int,int> >&contingencyTable){ ofstream outfile("F:\\Cluster\\contingency.dat",ios::binary); for(map<pair<string,string>, pair<int,int> >::iterator it=contingencyTable.begin();it!=contingencyTable.end();it++) { outfile<<(it->first).first<<" "<<(it->first).second<<" "<<(it->second).first<<" "<<(it->second).second<<endl; } outfile.close();}/************************************************************************//* 将关联表信息从硬盘加载到内存 *//************************************************************************/void Preprocess::LoadContingencyTable(map<pair<string,string>,pair<int,int> >&contingencyTable){ clock_t start,finish; double totaltime; start=clock(); ifstream infile("F:\\Cluster\\contingency.dat",ios::binary); string termtext=""; string classLabel=""; int presentNum=0;//该term 在该classLabel下的文章中出现的次数(不计算出现重数) int absentNum=0;//该classLabel下的文章中不含有该term的文章数目 while(!infile.eof()) { infile>>termtext; infile>>classLabel; infile>>presentNum; infile>>absentNum; pair<string, string> compoundKey=make_pair(termtext,classLabel); pair<int,int> valinfo=make_pair(presentNum,absentNum); contingencyTable[compoundKey]=valinfo; } infile.close(); finish=clock(); totaltime=(double)(finish-start)/CLOCKS_PER_SEC; cout<<"将contingencyTable加载到内存的时间为"<<totaltime<<endl;}
计算chi-square值的函数：
1
2
3
4
5
6
7
8
9
/************************************************************************//* 计算CHI-square 值 *//************************************************************************/double Preprocess:: CalChiSquareValue(double N11,double N10,double N01,double N00){ double chiSquare=0; chiSquare=(N11+N10+N01+N00)*pow((N11*N00-N10*N01),2)/((N11+N01)*(N11+N10)*(N10+N00)*(N01+N00)); return chiSquare;}
针对每个类别计算所有词的chi-square并按照chi-square值按从高到低排列：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
计算词袋子中的每一个词对某一类别的卡方值/************************************************************************/vector<pair<string,double> > Preprocess::ChiSquareFeatureSelectionForPerclass(map<string,vector<pair<int,int>> >&mymap,map<pair<string,string>,pair<int,int> > &contingencyTable,string classLabel){ int N=endIndex-beginIndex+1;//总共的文章数目 vector<string>tempvector;//词袋子中的所有词 vector<pair<string,double> > chisquareInfo; for(map<string,vector<pair<int,int>>>::iterator it=mymap.begin();it!=mymap.end();++it) { tempvector.push_back(it->first); } //计算卡方值 for(vector<string>::iterator ittmp=tempvector.begin();ittmp!=tempvector.end();ittmp++) { int N1=mymap[*ittmp].size(); pair<string,string> compoundKey=make_pair(*ittmp,classLabel); double N11=double(contingencyTable[compoundKey].first); double N01=double(contingencyTable[compoundKey].second); double N10=double(N1-N11); double N00=double(N-N1-N01); double chiValue=CalChiSquareValue(N11,N10,N01,N00); chisquareInfo.push_back(make_pair(*ittmp,chiValue)); } //按照卡方值从大到小将这些词排列起来 stable_sort(chisquareInfo.begin(),chisquareInfo.end(),isLarger); /*ofstream outfile("F:\\Cluster\\other.dat"); int finalKeyWordsCount=0; for(vector<pair<string,double> >::size_type j=0;j<chisquareInfo.size();j++) { outfile<<chisquareInfo[j].first<<";"<<chisquareInfo[j].second<<endl; finalKeyWordsCount++; } outfile.close();*/ return chisquareInfo;}针对整个分类问题的chi-square特征词选择法。在本例中，共有三个类别
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
/************************************************************************//* 卡方特征词选择算法 *//************************************************************************/void Preprocess::ChiSquareFeatureSelection(map<string,vector<pair<int,int>> > &mymap,map<pair<string,string>,pair<int,int> > &contingencyTable,int N){ clock_t start,finish; double totaltime; start=clock(); int N1=18693; int N2=23822; int N3=15717; int threshold1=N1*N/(N1+N2+N3); int threshold2=N2*N/(N1+N2+N3); int threshold3=N3*N/(N1+N2+N3); string classlabel1="xxxx"; string classlabel2="yyyy"; string classlabel3="zzzz"; vector<string> classLabels; classLabels.push_back("xxxx"); classLabels.push_back("yyyy"); classLabels.push_back("zzzz"); vector<pair<string,double>>chisquareInfo1; vector<pair<string,double>>chisquareInfo2; vector<pair<string,double>>chisquareInfo3; chisquareInfo1=ChiSquareFeatureSelectionForPerclass(mymap,contingencyTable,classlabel1); chisquareInfo2=ChiSquareFeatureSelectionForPerclass(mymap,contingencyTable,classlabel2); chisquareInfo3=ChiSquareFeatureSelectionForPerclass(mymap,contingencyTable,classlabel3); //stable_sort(chisquareInfo2.begin(),chisquareInfo2.end(),isLarger); //stable_sort(chisquareInfo3.begin(),chisquareInfo3.end(),isLarger); cout<<"finish ChiSquare Calculation"<<endl; set<string>finalKeywords; for(vector<pair<string,double> >::size_type j=0;j<threshold1;j++) { finalKeywords.insert(chisquareInfo1[j].first); } for(vector<pair<string,double> >::size_type j=0;j<threshold2;j++) { finalKeywords.insert(chisquareInfo2[j].first); } for(vector<pair<string,double> >::size_type j=0;j<threshold2;j++) { finalKeywords.insert(chisquareInfo3[j].first); } ofstream outfile(featurewordsAddress); int finalKeyWordsCount=finalKeywords.size(); for (set<string>::iterator it=finalKeywords.begin();it!=finalKeywords.end();it++) { outfile<<*it<<endl; } outfile.close(); cout<<"最后共选择特征词"<<finalKeyWordsCount<<endl; finish=clock(); totaltime=(double)(finish-start)/CLOCKS_PER_SEC; cout<<"遴选特征词共有了"<<totaltime<<endl; }- C++实现Chi-square 特征词选择算法
- 寻根究底，探讨 chi -square特征词选择方法后面的数学支持
- 特征选择之卡方统计 Chi-Square
- 特征选择方法CHI和IG
- 用CHI检验提取文本特征词
- Chi Square Distance
- 卡方选择（chi-square）能用到logistic regression当中么？（一）
- 卡方选择（chi-square）能用到logistic regression当中么？（二）
- 卡方选择（chi-square）能用到logistic regression当中么？（三）
- Applications of Chi-Square Tests
- 文本建模常用的预处理方法——特征选择方法（CHI和IG）
- chi-square, chi-distribute与Guassian distribute近似
- TLD算法特征选择
- TLD算法特征选择 .
- 特征选择算法
- 特征选择常用算法
- 特征选择算法-Relief
- 特征选择算法总结
- 安装python2.5
- VB.NET中将结构体保存到文件的方法(转)
- C#中调用资源管理器(Explorer.exe)打开指定文件夹 + 并选中指定文件 + 调用（系统默认的播放类）软件（如WMP）打开（播放歌曲等）文件
- 图像基本知识
- MySQL性能分析
- C++实现Chi-square 特征词选择算法
- qt 学习笔记资料
- WP粉丝：2013年还有诺基亚，2014年呢？
- ConcurrentLinkedQueue源码分析整理
- SAP HANA 6. 创建schema、table、view、sequence、role
- 人群与网络学习——第1周课程
- scrapy使用方法概要
- 代号诺曼底，诺基亚Lumia风格新机曝光
- ActiveMQ使用线程池实现消息的生产与消费
