Hbase学习2_HBase数据同步到ElasticSearch的方案
来源:互联网 发布:电商系统源码 编辑:程序博客网 时间:2024/05/17 20:33
ElasticSearch的River机制
ElasticSearch自身提供了一个River机制,用于同步数据。
这里可以找到官方目前推荐的River:
http://www.elasticsearch.org/guide/en/elasticsearch/rivers/current/
但是官方没有提供HBase的River。
其实ES的River非常简单,就是一个用户打包好的jar包,ES负责找到一个node,并启动这个River。如果node失效了,会自动找另外一个node来启动这个River。
Elasticsearch-HBase-River
github上有两个相关的项目:
https://github.com/mallocator/Elasticsearch-HBase-River
这个项目其实很简单,在River里用定时器启动一个HBase的Scanner,去扫描数据,并把数据插到ES里。和自己手动写代码去扫描差不多。
https://github.com/posix4e/Elasticsearch-HBase-River
这个项目利用了HBase的Replication机制,模拟了一个Hbase Replication的结点,然后同步数据到ES里。
但是这个项目是基于Hbase0.94的,实现的功能有限。
Hbase0.94和HBase0.98 的API变化很大,基本不可用,而且作者也说了不能用于生产环境。
HBase的Relication机制
可以参考官方文档和cloudera的一些博客文章:
http://hbase.apache.org/book.html#cluster_replication
http://blog.cloudera.com/blog/2012/07/hbase-replication-overview-2/
HBase的Relication机制,其实和MySQL的同步机制很像,HBase的每个Region Server都会有WAL Log,当Put/Delete时,都会先写入到WAL Log里。然后后台有线程会把WAL Log随机发给Slave的Region Server。而Slave的Region Server会在zookeeper上记录自己同步到的位置。
HBase同步数据到Solr的方案:Lily HBase Indexer
Cloudera内置的Cloudera Search实际上就是这个Lily Hbase Indexer:
https://github.com/NGDATA/hbase-indexer
这个项目就是利用了HBase的Replication功能,把HBase数据修改(Put,Delete)都抽像成为一系列Event,然后就可以同步到Solr里了。
这个项目抽象出了一个子项目:HBase Side-Effect Processor。
https://github.com/NGDATA/hbase-indexer/blob/master/hbase-sep/README.md
让用户可以自己写Listener来处理Event。
HBase数据同步到ElasticSearch的最终方案
考虑了上面的东东,所以决定基于HBase Side-Effect Processor,来自己写简单的程序同步数据到ES里。
其实代码是非常简单的,参考下Demo里的LoggingConsumer就好了。
https://github.com/NGDATA/hbase-indexer/blob/master/hbase-sep/hbase-sep-demo/src/main/Java/com/ngdata/sep/demo/LoggingConsumer.java
其它的一些东东:
ElasticSearch 和Solr cloud的比较
从网上找到的帖子,讨论比较多的是12年,貌似后面就比较少了。
https://github.com/superkelvint/solr-vs-elasticsearch
http://stackoverflow.com/questions/2271600/elasticsearch-sphinx-lucene-solr-xapian-which-fits-for-which-usage
http://www.quora.com/Why-Cloudera-search-is-built-on-Solr-and-not-Elasticsearch Cloudera-Search为什么选择Solr而不是ElasticSearch
个人倾向于ElasticSearch,因为从流行度来看,ES正在超越solr cloud:
Logstash + ElasticSearch + Kibana的完整日志收集分析工具链,也有很多公司在用。
原文来自:http://blog.csdn.net/hengyunabc/article/details/41146115
- Hbase学习2_HBase数据同步到ElasticSearch的方案
- HBase数据同步到ElasticSearch的方案
- 通过HBase Observer同步数据到ElasticSearch
- 通过HBase Observer同步数据到ElasticSearch
- 使用Hbase协作器(Coprocessor)同步数据到ElasticSearch
- 对:通过HBase Observer同步数据到ElasticSearch的使用情况
- Hbase学习7_hbase增加backup master
- elasticsearch-jdbc同步myslq数据到elasticsearch
- Elasticsearch搜索引擎学习记录2-数据同步
- ES-MongoDB学习3_MongoDB数据同步到Elasticsearch中
- 面向高稳定,高性能之-Hbase数据实时同步到ElasticSearch(之一)
- 面向高稳定,高性能之-Hbase数据实时同步到ElasticSearch(之二)
- 将数据从PostgreSQL同步到Elasticsearch的经验总结
- 同步mysql数据到ElasticSearch的最佳实践
- logstash-out-mongodb实现elasticsearch到Mongodb的数据同步
- 同步mysql数据到ElasticSearch的最佳实践
- 从MongoDB同步数据到ElasticSearch 的五种方式
- 同步hive数据仓库数据到Elasticsearch的工具
- 从form的enctype属性到Content-Type再到request.getInputStream()
- 网络概述
- 微信小程序之基本配置
- Thinkpad E系列刷BIOS无法启动点亮或开机显示屏不亮解决办法
- Nodemanager堆内内存泄漏问题记录
- Hbase学习2_HBase数据同步到ElasticSearch的方案
- 机器学习实战学习提纲
- Activity与Fragment之间的生命周期方法
- tensorflow——Deep MNIST
- P1403 [AHOI2005]约数研究
- 机器学习基础—— 遗传算法(GA)
- 如何将Excel数据导入MATLAB中
- java面向对象程序设计之封装
- 利用Python数据分析:Numpy基础(六)