HBase-River-to-Elasticsearch

来源:互联网 发布:冠新软件 待遇 编辑:程序博客网 时间:2024/05/21 23:03

简介 hbase 数据导入到 Elasticsearch。

思想是朴素的,实现是简单的,一切从简。

总的来说3步:

Step1:

        HBase的高性能吞吐量的众所周知的,利用此特点,批量读取HBase中的数据到内存。具体实现见下面代码片段:

step2:

        HBase-River取到数据以后,在内存中转化为JSON类型,哈哈,当然是批量转入了。至于实现:

step3:

        hbase-river负责将上一步组织好的json数据,批量写入es。(和step2写在一个函数中)

0 0
原创粉丝点击