hanlp for elasticsearch(基于hanlp的es分词插件)
来源:互联网 发布:淘宝特卖网qitemei 编辑:程序博客网 时间:2024/06/11 06:03
摘要:elasticsearch是使用比较广泛的分布式搜索引擎,es提供了一个的单字分词工具,还有一个分词插件ik使用比较广泛,hanlp是一个自然语言处理包,能更好的根据上下文的语义,人名,地名,组织机构名等来切分词
elasticsearch-analysis-hanlp插件地址:https://github.com/pengcong90/elasticsearch-analysis-hanlp
Elasticsearch
默认分词
输出:
IK分词
输出:
hanlp分词
输出:
ik分词没有根据句子的含义来分词,hanlp能根据语义正确的切分出词
安装步骤:
1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp,下载插件并解压到es的plugins目录下,修改analysis-hanlp目录下的hanlp.properties文件,修改root的属性,值为analysis-hanlp下的data
目录的地址
2、修改es config目录下的jvm.options文件,最后一行添加
-Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy
重启es
GET /_analyze?analyzer=hanlp-index&pretty=true
{
“text”:”张柏芝士蛋糕店”
}
测试是否安装成功
analyzer有hanlp-index(索引模式)和hanlp-smart(智能模式)
自定义词典
修改plugins/analysis-hanlp/data/dictionary/custom下的 我的词典.txt文件
格式遵从[单词] [词性A] [A的频次]
修改完后删除同目录下的CustomDictionary.txt.bin文件
重启es服务
- hanlp for elasticsearch(基于hanlp的es分词插件)
- elasticsearch(4)安装hanlp中文分词插件
- 基于HanLP分词的命名实体提取
- HanLP分词器的使用方法
- Java分词工具HanLP
- HanLPTokenizer HanLP分词器
- python调用hanlp分词
- 基于hanLP的中文分词详解-MapReduce实现&自定义词典文件
- Hanlp中基于2阶HMM 序列标注算法进行分词的代码解析
- Java中文分词hanlp使用
- Spark中使用HanLP分词
- Spring框架中调用HanLP分词的方法
- hanlp源码解析之中文分词算法
- ElasticSearch6.0配置HanLP分词器
- 关于HANLP的乱码问题
- HanLP的配置及使用
- 配置Hanlp
- ES学习(四)拼音插件分词elasticsearch-analysis-pinyin
- win7 一些UAC相关的问题
- 为什么写的html中的中文是乱码?
- 前端开发app,从hbuilder开始
- HTML5_video视频
- JSP里的basePath
- hanlp for elasticsearch(基于hanlp的es分词插件)
- hdu 1131 卡特兰数,大数
- 求最大公约数和最小公倍数的三个算法
- vtkPolydata中取点的坑
- 【luogu1941】飞扬的小鸟(背包dp)
- linux-文件挂载
- 1057. 数零壹
- 函数crossvalind
- nginx学习笔记(一)