TSE的中文分词
来源:互联网 发布:可以手绘的软件 编辑:程序博客网 时间:2024/04/30 02:46
TSE的字典用的是STL 中的MAP.关于英文字母的trie字典树,是一个26 叉树,查找效率0(logn).
现在,要把一篇网页内容分割成一个一个的关键词.TSE用的是最大正向减字法分词.
先用一个很大的数组接受html里,除了<>这些标签外的文字.
分成一个一个的句子来处理.
对一个句子,每次按照长度为ComLen来提取关键字,先用一个指针char* start指示开头,用char* end来指示
待匹配字符串尾. 如果start到end在字典里有匹配的词,就后移一个ComLen,继续匹配;如果没有这个词,就把
end往前移动一个位置继续匹配,直到又找到一个词,然后把start移动这个位置的后一个,end移动到
start+ComLen的位置,继续匹配.
关键步骤是无法匹配后,减少一个字符继续查字典,比如按照步长m来处理平均长度为d的句子,有k个句子
最坏情况是每次步长处理的时候,都没有找到匹配的单词,那么每次步长都要比较m次,查字典假设是红黑树
o(logn)的复杂度,那么最坏情况下 匹配成功一次后(只成功匹配了一个字符),start往后移动一个位置,所以总
共是mkdO(logn)
最大正向减字法,每次查字典的时候都是从最左边开始找,这是中文特有的分词,英文的话就按照空格可以
直接提取单词来匹配了.
处理完成后,是一个文件.文件格式是:
记录号: 关键字集合
比如
1 中国/英国/法国
2 奥运/中国/北京
这就是分词后的结果
- TSE的中文分词
- TSE网页存储、中文分词、倒排索引生成
- 【北大天网搜索引擎TSE学习笔记】第7节——中文分词
- 什么是中文分词-中文分词的应用
- 中文分词的分类
- ElasticSearch的中文分词
- 分词:几个免费的中文分词模块
- 分词---几个免费的中文分词模块
- 关于中文分词的一元分词讨论
- 关于中文分词的一元分词讨论
- TSE下载的地方
- TSE的网页索引
- tse
- 一个简单的中文分词
- 中文分词的实现思路
- 中文分词的简要实现
- 简单的中文分词程序
- 中文分词的实现思路
- 面向Java开发人员的Ajax:Java对象序列化
- 深入浅出Java设计模式之迭代器模式
- TSE的网页索引
- java高级应用符合oo惯例的表现层控制
- IC卡应用系统开发-(二)加密机访问
- TSE的中文分词
- Java 理论与实践: 再谈 Urban 性能传言
- JDO技术分析及如何进入企业应用的研究
- 教你用JAVA ID生成器去生成逻辑主键
- Java设计模式之计数代理模式
- TSE从正向索引到反向索引
- 使用GDB调试Linux软件
- 我们在一起--一名灾区儿童到我校就读后的幸福笑容
- Ajax原则