ansj分词方式详细解析
来源:互联网 发布:ibm电池修复软件 编辑:程序博客网 时间:2024/06/06 00:54
ToAnalysis 精准分词
精准分词是Ansj分词的店长推荐款
它在易用性,稳定性.准确性.以及分词效率上.都取得了一个不错的平衡.如果你初次尝试Ansj如果你想开箱即用.那么就用这个分词方式是不会错的.
DicAnalysis 用户自定义词典优先策略的分词
用户自定义词典优先策略的分词,如果你的用户自定义词典足够好,或者你的需求对用户自定义词典的要求比较高,那么强烈建议你使用DicAnalysis的分词方式.
可以说在很多方面Dic优于ToAnalysis的结果
NlpAnalysis 带有新词发现功能的分词
nlp分词是总能给你惊喜的一种分词方式.
它可以识别出未登录词.但是它也有它的缺点.速度比较慢.稳定性差.ps:我这里说的慢仅仅是和自己的其他方式比较.应该是40w字每秒的速度吧.
个人觉得nlp的适用方式.1.语法实体名抽取.未登录词整理.只要是对文本进行发现分析等工作
IndexAnalysis 面向索引的分词
面向索引的分词。顾名思义就是适合在lucene等文本检索中用到的分词。主要考虑以下两点
- 召回率
- 召回率是对分词结果尽可能的涵盖。比如对“上海虹桥机场南路” 召回结果是[上海/ns, 上海虹桥机场/nt, 虹桥/ns, 虹桥机场/nz, 机场/n, 南路/nr]
- 准确率
- 其实这和召回本身是具有一定矛盾性的Ansj的强大之处是很巧妙的避开了这两个的冲突 。比如我们常见的歧义句“旅游和服务”->对于一般保证召回 。大家会给出的结果是“旅游 和服 服务” 对于ansj不存在跨term的分词。意思就是。召回的词只是针对精准分词之后的结果的一个细分。比较好的解决了这个问题
BaseAnalysis 最小颗粒度的分词
基本就是保证了最基本的分词.词语颗粒度最非常小的..所涉及到的词大约是10万左右.
基本分词速度非常快.在macAir上.能到每秒300w字每秒.同时准确率也很高.但是对于新词他的功能十分有限.
功能统计
√
0 0
- ansj分词方式详细解析
- ansj分词方式详细解析
- ansj分词史上最详细教程
- ansj 分词
- ansj 分词
- Ansj分词
- ansj分词
- ansj中文分词的不同方式效率比较
- Ansj中文分词说明
- ansj分词使用
- 分词工具-ansj
- ANSJ中文分词使用方法
- Ansj中文分词说明
- ansj分词教程
- ansj分词使用
- ansj 5.1分词方式测试,存在分词命名实体识别过度的问题
- Java中文分词器Ansj
- lucene 4.3 ansj分词演示
- Facebook Surround360 学习笔记--(2)算法原理
- 类中的成员属性和成员方法
- ffmpeg.exe移植到vs2010编译步奏
- swift语言的学习笔记十一(performSelector)
- swift语言的学习笔记十二(willSet与didSet)
- ansj分词方式详细解析
- 在 Linux 上如何清除内存的 Cache、Buffer 和交换空间
- 第十章:内部类(上)
- 1216
- 15 款最好的 C/C++ 编译器和集成开发环境
- C1000k测试服务器支持的tcp连接数
- Factorial Trailing Zeroes
- 图片路径中含有中文在jsp下不能正常显示的问题
- 基于gensim的Doc2Vec简析