friso-1.6.1 发布 - C语言高性能中文分词器-检测模式切分

来源:互联网 发布:淘宝店主写给买家的信 编辑:程序博客网 时间:2024/05/22 10:50

Friso是使用c语言开发的一款开源中文分词器,使用流行的mmseg算法实现。完全基于模块化设计和实现,可以很方便的植入其他程序中,例如:MySQL,PHP,源码无需修改就能在各种平台下编译使用,同时支持对UTF-8/GBK编码的切分

friso-1.6.1:

1. friso.ini中friso.lex_dir增加相对friso.ini的路径支持,这个可以让嵌入部署更方便。

2. 修复两处内存泄漏bug。 (无名英雄找到的,在此感谢)

3. 改善中英混合词的识别, 可以识别更多情况, 例如:高3。

4. 词库优化, 加入了一些新词条。

5. 修复friso_dic_add & array_list_insert的两处代码bug。

6. 增加检测模式切分, 只返回词库中有的词条,这个对于有些需求确实挺有用的。

7. 集成了php扩展绑定,完美支持PHP分词。以前这个是单独拿出来的,并且项目为robbe,为了方便管理,现在统一绑定到了friso项目里面

friso从下个版本开始,会逐渐去提供sphinx的token filter,socket接口等。

google code不在提供下载,下载地址:

1. git@osc 附件:http://git.oschina.net/lionsoul/friso/attach_files

2. friso SF: https://sourceforge.net/projects/friso/files/

感谢广大网友的支持和反馈,祝大家工作愉快。

0 0
原创粉丝点击