CRF++的使用

CRF++的使用总结

 (2013-04-23 22:53:58)

转载▼

  

1，CRF++的指南，以及下载

英文版官网，使用手册的感觉。http://crfpp.googlecode.com/svn/trunk/doc/index.html

下载地址http://code.google.com/p/crfpp/downloads/list

 

 

2，CRF++-0.58.zip

我下载的是CRF++0.58.zip的版本，解压。

doc文件夹为官网地址；example为给的4个例子。

实际需要的：crf_learn.exe；crf_test.exe；libcrfpp.dll三个文件

 

可以先拿example中的某个例子，做一下测试。例如：example中chunking文件夹，其中原有4个文件：exec.sh；template；test.data；train.data。

template为特征模版；test.data为测试数据；train.data为训练数据。关于它们具体格式和内容，待会详细介绍。

 

可以选择example里的某个例子做测试，比如选chunking。将crf_learn.exe；crf_test.exe；libcrfpp.dll三个文件复制到到，含有exec.sh；template；test.data；train.data的文件夹（chunking）里。

cmd

cd进入该文件夹

crf_learn template train.data model   训练数据
crf_test -m model test.data > output.txt   测试数据

conlleval.pl < output.txt   评估效果

 

3，训练

 命令行：
% crf_learn template train.data model
这个训练过程的时间、迭代次数等信息会输出到控制台上（感觉上是crf_learn程序的输出信息到标准输出流上了），如果想保存这些信息，我们可以将这些标准输出流到文件上，命令格式如下：
% crf_learn template_file train_file model_file >> train_info_file

有四个主要的参数可以调整：
-a CRF-L2 or CRF-L1
规范化算法选择。默认是CRF-L2。一般来说L2算法效果要比L1算法稍微好一点，虽然L1算法中非零特征的数值要比L2中大幅度的小。
-c float
这个参数设置CRF的hyper-parameter。c的数值越大，CRF拟合训练数据的程度越高。这个参数可以调整过度拟合和不拟合之间的平衡度。这个参数可以通过交叉验证等方法寻找较优的参数。
-f NUM
这个参数设置特征的cut-off threshold。CRF++使用训练数据中至少NUM次出现的特征。默认值为1。当使用CRF++到大规模数据时，只出现一次的特征可能会有几百万，这个选项就会在这样的情况下起到作用。
-p NUM
如果电脑有多个CPU，那么那么可以通过多线程提升训练速度。NUM是线程数量。

带两个参数的命令行例子：
% crf_learn -f 3 -c 1.5 template_file train_file model_file

 

 

4，测试

 命令行：
% crf_test -m model test.data
有两个参数-v和-n都是显示一些信息的，-v可以显示预测标签的概率值，-n可以显示不同可能序列的概率值，对于准确率，召回率，运行效率，没有影响，这里不说明了。
与crf_learn类似，输出的结果放到了标准输出流上，而这个输出结果是最重要的预测结果信息（测试文件的内容+预测标注），同样可以使用重定向，将结果保存下来，命令行如下。
% crf_test -m model_file test_files > result_file

 

 

5，评估

若训练过程：% crf_test -m model test.data > output.txt

训练的结果在output.txt里。评估的就是这个文件，即待预测标签与预测标签的对比。

%conlleval.pl < output.txt

.pl后缀为Perl文件，所以需要安装Perl

conlleval.pl为http://www.cnts.ua.ac.be/conll2000/chunking/conlleval.txt 将这个贴到txt，然后重命名为conlleval。我当时这么做的。

特别注意：output.txt在CRF++输出中空格为TAB键，需要全部替换为真正空格键。conlleval.pl识别的是空格键。

 

 

6，train.data和test.data的格式

我做的实验关于中文。

每行的格式为：分词后的词 词性标注 标签

中间是空格隔开；空行表示句子的边界；分词后的词和词性标注是NLPIR（原ICTCLAS）生成的结果；标签O表示不是目标值，PLACE表示目标值，若一个词被分开了，则B-PALCE为第一个词，I-PLACE为接着的词

 

一定要严格按格式要求来，否则会报错。

另外，标签不能全部一样，否则会报这么错误：

The line search routine mcsrch failed: error code:0

routine stops with unexpected error

CRF_L2 execute error

 

下面是一个训练样本的例子：

训练文件由若干个句子组成（可以理解为若干个训练样例），不同句子之间通过换行符分隔，上图中显示出的有两个句子。每个句子可以有若干组标签，最后一组标签是标注，上图中有三列，即第一列和第二列都是已知的数据，第三列是要预测的标注，以上面例子为例是，根据第一列的词语和和第二列的词性，预测第三列的标注。

 

 

7，template格式

a) 特征选取的行是相对的，列是绝对的，一般选取相对行前后m行，选取n-1列（假设语料总共有n列），特征表示方法为：%x[行,列]，行列的初始位置都为0。例如：

i. 以前面语料为例

“ Sw N

北 Bns B-LOC

京 Mns I-LOC

市 Ens I-LOC

首 Bn N

假设当前行为“京”字这一行，那么特征可以这样选取：

特征模板

意义

代表特征

%x[-2,0]

-2行，0列

“

%x[-1,0]

-1行，0列

北

%x[0,0]

0行，0列

京

%x[1,0]

1行，0列

市

%x[2,0]

2行，0列

首

%x[-2,1]

-2行，1列

Sw

%x[-1,1]

-1行，1列

Bns

%x[0,1]

0行，1列

Mns

%x[1,1]

1行，1列

Ens

%x[2,1]

2行，1列

Sw

%x[-1,0]/%x[0,0]

-1行0列与0行0列的组合

北/京

%x[0,0]/%x[1,0]

0行0列与1行0列的组合

京/市

%x[-2,1]/%x[-1,1]

-2行1列与-1行1列的组合

Sw/ Bns

%x[-1,1]/%x[0,1]

-1行1列与0行1列的组合

Bns/Mns

%x[0,1]/%x[1,1]

0行1列与1行1列的组合

Mns/Ens

%x[1,1]/%x[2,1]

1行1列与2行1列的组合

Ens/Sw

%x[-2,1]/%x[-1,1]/%x[0,1]

-2行1列、-1行1列、0行1列的组合

Sw/Bns/Mns

%x[-1,1]/%x[0,1]/%x[1,1]

-1行1列、0行1列、1行1列的组合

Bns/Mns/Ens

%x[0,1]/%x[1,1]/%x[2,1]

0行1列、1行1列、2行1列的组合

Mns/Ens/Sw

b) 模板制作：模板分为两类：Unigram和Bigram。

其中Unigram/Bigram是指输出token的Unigram/Bigrams，而不是特征。

c) 以前面示例中的特征为特征，制作为Unigram模板如下：

#Unigram

U00:%x[-2,0]

U01:%x[-1,0]

U02:%x[0,0]

U03:%x[1,0]

U04:%x[2,0]

U05:%x[-2,1]

U06:%x[-1,1]

U07:%x[0,1]

U08:%x[1,1]

U09:%x[2,1]

U10:%x[-1,0]/%x[0,0]

U11:%x[0,0]/%x[1,0]

U12:%x[-2,1]/%x[-1,1]

U13:%x[-1,1]/%x[0,1]

U14:%x[0,1]/%x[1,1]

U15:%x[1,1]/%x[2,1]

U16:%x[-2,1]/%x[-1,1]/%x[0,1]

U17:%x[-1,1]/%x[0,1]/%x[1,1]

U18:%x[0,1]/%x[1,1]/%x[2,1]

说明：

i. 其中#开头的行不起作为，为注释；

ii. 行与行之间可以有空行；

iii. Unigram的特征前使用字母U，而Bigram的特征前使用字母B。后面的数字用于区分特征，当然这些数字不是一定要连续。

 

 

参考：http://www.cnblogs.com/pangxiaodong/archive/2011/11/21/2256264.html

http://blog.csdn.net/zhoubl668/article/details/7024026