Friso-1.6.0 发布 - C语言高性能中文分词器，GBK支持

来源：互联网发布：杨百万软件多少钱编辑：程序博客网时间：2024/05/01 19:26

Friso是使用c语言开发的u一款开源中文分词器，使用流行的mmseg算法实现。完全基于模块化设计和实现，可以很方便的植入其他程序中，例如：MySQL，PHP，源码无需修改就能在各种平台下编译使用，并且提供了一个php的扩展: robbe. 同时支持对UTF-8/GBK编码的切分．

Friso-1.6.0：

1. friso_stirng.c#utf8_decimal_string初始化bytes = 0, 去除WinNT的Run-Time Check Failed.

2. 复杂英文和数字组合的二次切分.
Friso认为数字和字母组合在一起肯定有其特殊的含义，所以要保留。同时这个功能可以避免检索命中率的下降。例如: QQ2013会被切分成: qq2013, qq, 2013， chenxin619315@gmail.com会被切分成：chenxin/ 619315/ gmail/ com/ chenxin619315@gmail.com

3. GBK编码支持.(Friso-1.6.0后，词库分为UTF-8和GBK版本).
出于实际应用的考虑，编码支持被设计为全局的，也就是创建Friso的时候就必须制定编码。如果你的项目有出现要同时支持GBK和UTF-8的情况，可以创建一个GBK的Friso和一个UTF-8的Friso。

4. 增加了friso.ini中自定义保留标点, 去除了默认对"^,/,-,'"等标点的保留。
有利于自定义去识别一些复杂词条，例如：c++, k&r。

5. 使用掩码操作控制变量来代替了原来的多个控制变量.

6. 切分结果friso_hits_t中增加了对词条类别和词条长度的返回，纠正了offset的误差。

7. 做了一些优化，例如：同义词的追加(普通/sphinx定义)复杂的判断逻辑，改为了使用掩码状态控制，不仅减少了代码量还提高了执行效率。

8. 更多的返回信息，增加了对切分词条的类别，长度，真实长度，词性(待实现)等信息的返回。
同时很遗憾的 @海盗船长.pk 这个版本中没能真正的实现词性标注。

9. 增加了安装中头文件的自动拷贝（usr/include/friso），可以通过include <friso/xx.h>来引用头文件。

Friso官方网站：http://code.google.com/p/friso/

Friso源码托管：http://git.oschina.net/lionsoul/friso

感谢网友的关注和反馈，祝您工作愉快。。。

0 0