分布式索引文件内容

来源:互联网 发布:淘宝 新店 低价冲信誉 编辑:程序博客网 时间:2024/04/18 08:56

最近做了个分布式索引项目, 主要技术如下:


文件相关属性上传到HBase, 文件内容上传到HDFS.

利用Hadoop的MapReduce框架, 用TableFormat做输入源切分器, 在Mapper中作索引, 最后将索引布置到Katta(分布式索引管理者)上.


其中, Mapper主要是做索引, 用到: 

Tika(文件内容提取, 可提取二进多种格式文件中的文本内容),

Lucene(建立索引) 

IKAnalyzer(中文分词)

原创粉丝点击