spark + ansj 对大数据量中文进行分词
来源:互联网 发布:c语言if else if 编辑:程序博客网 时间:2024/06/07 05:30
本文要解决的问题:
实现将Spark与中文分词源码(Ansj)相结合,进行一系列中文分词操作。
目前的分词器大部分都是单机服务器进行分词,或者使用hadoop mapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的速度较慢,相对spark来说代码书写较繁琐。本文使用 spark + ansj对存储在hdfs中的中文文本数据进行分词。
首先下载ansj源码文件,下载地址为https://github.com/NLPchina/ansj_seg,同时需要下载nlp-lang.jar包,下载地址上述网站中可以看到。由于spark传输数据必须进行序列化,而ansj中的属性类都没有实现序列化,需要将ansj_seg-master/src/main/java/org/ansj/domain中的属性类AnsjItem、Nature、 NewWord、NumNatureAttr、PersonNatureAttr、Term、TermNature、TermNatures分别实现 Serializable接口。然后使用maven的mvn install生成ansj_seg-2.0.8.jar包,将编译的ansj_seg-2.0.8.jar包 和之前下载的nlp-lang-0.3.jar包加入到spark依赖中,spark便可对hdfs中的文本进行分词。另外,将序列化后编译的jar上传至csdn,可以直接下载使用。
实例如下:
import org.apache.spark.SparkContextimport org.ansj.domain.Termimport org.ansj.splitWord.analysis.ToAnalysisimport org.ansj.util.FilterModifWordimport org.ansj.library.UserDefineLibraryimport java.util.Arraysobject TokenTest extends App{ val sc = new SparkContext val numpatitions = 100 val text = sc.textFile("/path/to/ChineseFile", numpatitions).map { x => val temp = ToAnalysis.parse(x)//加入停用词 FilterModifWord.insertStopWords(Arrays.asList("r","n"))//加入停用词性 FilterModifWord.insertStopNatures("w",null,"ns","r","u","e")val filter = FilterModifWord.modifResult(temp)//此步骤将会只取分词,不附带词性val word = for(i<-Range(0,filter.size())) yield filter.get(i).getName word.mkString("\t") } text.saveAsTextFile("/pathr/to/TokenFile")}
1 0
- spark + ansj 对大数据量中文进行分词
- Spark + ansj 对大数据量中文进行分词
- spark + ansj 对大数据量中文进行分词
- 利用Ansj中文分词工具对段落进行切词
- 使用Spark、Ansj分词进行词频统计
- SPARK+ANSJ 中文分词基本操作
- 【Java】利用Ansj中文分词工具对段落进行切词
- Ansj中文分词说明
- ANSJ中文分词使用方法
- Ansj中文分词说明
- spark scala 用ansj分词
- Java中文分词器Ansj
- Ansj中文分词的使用
- ansj中文分词分词过程浅析
- python中文分词,使用结巴分词对python进行分词
- 利用ansj进行简单的分词
- 开源 Java 中文分词器 Ansj
- [023]中文分词——ansj
- BZOJ 2038: [2009国家集训队]小Z的袜子(hose)
- NFS服务器设置及mount命令挂载
- 安卓Studio学习笔记---Android studio加载9.png图片报错
- Apache与Nginx的优缺点比较
- 不带缓冲io的理解
- spark + ansj 对大数据量中文进行分词
- valgrind 的使用简介
- HDU 5791 Two(DP)
- Java泛型编程快速入门
- MySQL技术内幕InnoDB存储引擎学习笔记(第八章)
- windows下设置java环境变量的步骤
- h>>y>>sdfdlkp>ldskfje>lsdkfjrle>lsdkfjdger
- 使用FFmpeg动态库
- 每日一记-mysql中的int(11)-int(4)和int类型