Spark + ansj 对大数据量中文进行分词
来源:互联网 发布:手机淘宝密码修改 编辑:程序博客网 时间:2024/06/06 17:32
目前的分词器大部分都是单机服务器进行分词,或者使用hadoop mapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的速度较慢,相对spark来说代码书写较繁琐。本文使用 spark + ansj对存储在hdfs中的中文文本数据进行分词。
首先下载ansj源码文件,下载地址为https://github.com/NLPchina/ansj_seg,同时需要下载nlp-lang.jar包,下载地址上述网站中可以看到。由于spark传输数据必须进行序列化,而ansj中的属性类都没有实现序列化,需要将ansj_seg-master/src/main/java/org/ansj/domain中的属性类AnsjItem、Nature、 NewWord、NumNatureAttr、PersonNatureAttr、Term、TermNature、TermNatures分别实现 Serializable接口。然后使用maven的mvn install生成ansj_seg-2.0.8.jar包,将编译的ansj_seg-2.0.8.jar包 和之前下载的nlp-lang-0.3.jar包加入到spark依赖中,spark便可对hdfs中的文本进行分词。另外,将序列化后编译的jar上传至csdn,可以直接下载使用。
实例如下:
首先下载ansj源码文件,下载地址为https://github.com/NLPchina/ansj_seg,同时需要下载nlp-lang.jar包,下载地址上述网站中可以看到。由于spark传输数据必须进行序列化,而ansj中的属性类都没有实现序列化,需要将ansj_seg-master/src/main/java/org/ansj/domain中的属性类AnsjItem、Nature、 NewWord、NumNatureAttr、PersonNatureAttr、Term、TermNature、TermNatures分别实现 Serializable接口。然后使用maven的mvn install生成ansj_seg-2.0.8.jar包,将编译的ansj_seg-2.0.8.jar包 和之前下载的nlp-lang-0.3.jar包加入到spark依赖中,spark便可对hdfs中的文本进行分词。另外,将序列化后编译的jar上传至csdn,可以直接下载使用。
实例如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import
org.apache.spark.SparkContext
import
org.ansj.domain.Term
import
org.ansj.splitWord.analysis.ToAnalysis
import
org.ansj.util.FilterModifWord
import
org.ansj.library.UserDefineLibrary
import
java.util.Arrays
object TokenTest
extends
App
{
val sc =
new
SparkContext
val numpatitions =
100
val text = sc.textFile(
"/path/to/ChineseFile"
, numpatitions).map { x =>
val temp = ToAnalysis.parse(x)
//加入停用词
FilterModifWord.insertStopWords(Arrays.asList(
"r"
,
"n"
))
//加入停用词性
FilterModifWord.insertStopNatures(
"w"
,
null
,
"ns"
,
"r"
,
"u"
,
"e"
)
val filter = FilterModifWord.modifResult(temp)
//此步骤将会只取分词,不附带词性
val word =
for
(i<-Range(
0
,filter.size())) yield filter.get(i).getName
word.mkString(
"\t"
)
}
text.saveAsTextFile(
"/pathr/to/TokenFile"
)
}
0 0
- spark + ansj 对大数据量中文进行分词
- Spark + ansj 对大数据量中文进行分词
- spark + ansj 对大数据量中文进行分词
- 利用Ansj中文分词工具对段落进行切词
- 使用Spark、Ansj分词进行词频统计
- SPARK+ANSJ 中文分词基本操作
- 【Java】利用Ansj中文分词工具对段落进行切词
- Ansj中文分词说明
- ANSJ中文分词使用方法
- Ansj中文分词说明
- spark scala 用ansj分词
- Java中文分词器Ansj
- Ansj中文分词的使用
- ansj中文分词分词过程浅析
- python中文分词,使用结巴分词对python进行分词
- 利用ansj进行简单的分词
- 开源 Java 中文分词器 Ansj
- [023]中文分词——ansj
- <LeetCode OJ> 19. Remove Nth Node From End of List
- Ext.js5(表单)的容器(表单load测试数据)(表单填写的数据的保存)(vtype)(combineErrors)(插入())(文本框的布局)(36)
- 接收系统广播
- MBR 之 硬盘基本知识(磁道、扇区、柱面、磁头数、簇、MBR、DBR)
- Testing Support Library在Android测试中的使用
- Spark + ansj 对大数据量中文进行分词
- Android Application之onLowMemory与omTrimMemory
- 安卓打包签名之-export aborted because fatal lint errors were found
- 产品策划一:移动App项目研发流程及版本规划
- Description Resource Path Location Type Java compiler level does not match the version of the instal
- 获取当前分辨率及dip值
- Java中的ReentrantLock和synchronized两种锁定机制的对比
- [干货]Android编程开发规范
- android开发中经常看到@Override