C++ NLPIR+FRISO 项目的中文分词功能添加

来源：互联网发布：联想售后系统优化编辑：程序博客网时间：2024/05/23 19:14

几个月之前需要做一个在线教学资源的项目功能，由于涉及到中文资源搜索，且自觉功力尚浅只好在线上查找前辈们的中文搜索的一些做法。

比较幸运的是，当时确实没用多久时间就找到LCTCLAS张华平博士的NLPIR中文分词系统PS：此处附下载地址 http://ictclas.nlpir.org/newsdownloads?DocId=389 最初的时候，这个也比较好用，因为是win32项目，直接将解压好的win32下的动态库和依赖库放置在release/debug下，同时将解压后的Data文件夹放置在release/debug文件夹下。接下来在项目中配置好库的路径，之后就是自己调用库函数进行中文分词操作。

m_InStr 需要进行中文分词的字符串

OutStr 分词操作之后的字符串数组

BOOL ReadDIRFile::Cstr2strs(CString& m_InStr,vector<CString>& OutStr)

{
if (!NLPIR_Init())
{
int ErrNum=GetLastError();
return FALSE;
}
CString InStr,m_OutStr;//("陌生的人给我一支兰州"),m_OutStr;
LPWSTR lpStr = m_InStr.GetBuffer();
char TempSize[250];
int iLength = WideCharToMultiByte(CP_ACP, 0, lpStr, -1, NULL, 0, NULL, NULL);
WideCharToMultiByte(CP_ACP, 0, lpStr, -1, TempSize, iLength, NULL, NULL);
m_OutStr=NLPIR_ParagraphProcess(TempSize,0);

while (-1!=m_OutStr.Find(' '))
{
int len=m_OutStr.Find(' ');
OutStr.push_back(m_OutStr.Left(len));
m_OutStr.Delete(0,len+1);
if (0==m_OutStr.GetLength())
{
break;
}
}

//增加对英文字符的特殊处理
//for (int cout=0;cout<OutStr.size();cout++)
//{
// char TEMP=OutStr[cout].GetAt(0);
// if (TEMP>0 || TEMP == 0)
// {
// OutStr[cout]=' '+OutStr[cout];
// }
//}

NLPIR_Exit();
return TRUE;
}

但是，万万没想到 7月1号，这天突然被告知，中文分词用不了了，单步运行之后发现是NLPIR_Init这个初始化函数搞的鬼，但是也搞不明白，7月之前项目一直运行的还不错。还在想，是不是早上那个万年难得一见的闰秒造成的（笑·~）。这个愁得呀，无奈之下又去找度娘，发现这个其实不是开源的,涉及到版权过期什么的。之后去大数据论坛那块发现也有同道中人。诶~想想，虽然，这个系统的分词还不错，但是不稳定呀，过段时间就用不了，这个就有点PS：绝对没有抱怨什么的，我等小菜鸟还谈不上对开源与否做过多评价。

无奈之下，只好另觅他法。

后又找到friso分词器，同样是想把这个东东用在自己的项目里面。在此附上friso下载地址:http://blog.csdn.net/wsplayer/article/details/38060179当然这个是前辈的一个版本发布贴，下载完之后又得考虑怎样把这东西搞成个能用的动态库，嘿嘿，菜鸟嘛，自己造不了轮子只好借花献佛喽，嗯，当然也能在借献之间体悟出一丝道理（哈哈，话有点多了），当然尊重原著此处附原帖地址：http://www.oschina.net/question/853816_135216

1、新建工程

VS2010里新建工程

文件->新建->从现有的代码中创建项目(注意:把tst开头的.c文件去掉，此为测试代码)