lucene smartcn原理
来源:互联网 发布:雅思 书 知乎 编辑:程序博客网 时间:2024/05/26 16:01
Smartcn分词器是ictclas简化功能的java版
Smartcn分词三步:1)原子切分;2)找出原子之间所有可能的组词方案;3)N-最短路径中文词语粗分三步。
例如:“他说的确实在理”这句话。
1)原子切分的目的是完成单个汉字的切分。经过原子切分后变成“始##始/他/说/的/确/实/在/理/末##末”。
2)然后根据“词库字典coredict”找出所有原子之间所有可能的组词方案。经过词库检索后,该句话变为“始##始/他/说/的/的确/确/确实/实/实在/在/在理/理/末##末”。
图1
3)N-最短路径中文词语粗分,smartCN用的是1-最短路径。首先我们要找出这些词之间所有可能的两两组合的距离(这需要检索BigramDict词典库,图2的权值)。
图2
图3:图2的逻辑表示
用动态规划的方法容易求得出最短路径:
例如从节点0到5消耗是1+2+3+5 = 3.3+2.2+4.1+4.1 = 13.7
从节点0到4消耗是1+2+4 = 3.3+2.2+7.1 = 12.6
节点7的消耗是min(5->7, 4->7) = min(13.7+11.6 , 12.6 + 11.5) = 28.1 路径4->7
...
求出最短路径,就找出了分词短句的结果。
总结一下smartcn的核心:coredict用来存词,用来扩展单字。
Bigramdict用来存跳转频率。最后用最短路径算法求最佳切分方式。Bigramdict怎么来的,从训练语料里统计出来的。最短路径求解体现了一定的语义分析,代价就是Bigramdict需要训练。
Smartcn不能扩展词库,因为Bigramdict中没有对应的关联,如果要扩展得两个一起。
写的有点仓促,蛮多精华没介绍到,想看更多细节可以看这里
http://www.ictclas.org/content_c_005.html
http://www.cnblogs.com/zhenyulu/articles/668035.html
下一步我想用CRF训练的结果生成新的coredict跟bigramdict,看下行不行。近年来CRF的结果已经远远优于机械的方法了,也就是用新方法结果来训练旧机器.
- lucene smartcn原理
- lucene smartcn原理
- lucene smartcn原理
- lucene原理
- lucene 原理
- lucene 原理
- Lucene原理
- lucene原理
- lucene原理
- Lucene原理
- smartcn优化方案
- Lucene的工作原理
- Lucene 分词原理
- Lucene 分词原理
- Lucene 分词原理
- Lucene 分词原理
- Lucene 分词原理
- Lucene的工作原理
- vs2012查找替换已经反编译出现<keyword>k__BackingField解决方法
- 为什么要声明静态(static)数组
- 通过ANT实现jmeter批量执行脚本、生成报告、发送邮件全套build.xml文件
- webdriver打开链接新页面
- 非常好的Java反射例子-初学反射者
- lucene smartcn原理
- 用android 获取当前本地文件、文件夹,并显示在listview上,点击文件夹,显示该文件夹下的文件和文件夹
- hdu4499 Cannon (DFS+回溯)
- 明星玩PE暴富折射出三大弊端?
- linux Shell 结构化命令
- Android Activity和Intent机制学习笔记
- 学习SAP难吗
- Swing之QQ软键盘
- Android Studio显示主题/样式设置