同步mysql数据到ElasticSearch的最佳实践
来源:互联网 发布:outlook邮箱域名是什么 编辑:程序博客网 时间:2024/06/05 12:46
安装es以及head插件,略。
为了使海量数据能够提供实时快速的查询,mysql很显然力不从心,于是我们需要利用es提供大数据搜索服务,典型的场景就是:产品或者商品搜索。
首先是数据同步,将mysql数据同步到es的方式很多,经过测试,稳定且易用的是 logstash-input-jdbc
如何安装logstash-input-jdbc插件?
直接follow:http://blog.csdn.net/yeyuma/article/details/50240595#quote
全量同步与增量同步
全量同步是指全部将数据同步到es,通常是刚建立es,第一次同步时使用。增量同步是指将后续的更新、插入记录同步到es。(删除记录没有办法同步,只能两边执行自己的删除命令)
根据公司内部实践,logstash-input-jdbc增量同步的原理很简单。我们做增量同步是需要知道插入和更新记录的,因此,进入ES提供搜索服务的表(要同步的标),都要加上update_time,每次插入和更新的时候更新这个字段,让logstash-input-jdbc知道即可。
详见:https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html#_predefined_parameters
关键点:
where t.update_time > :sql_last_value
测试结果:
先更新一条数据看看
然后在es中查询看看有没有更新到
成功,自动同步了!
文章来源:http://blog.csdn.net/chiyingluolei/article/details/53689353
- 同步mysql数据到ElasticSearch的最佳实践
- 同步mysql数据到ElasticSearch的最佳实践
- 同步mysql数据到ElasticSearch的最佳实践
- mysql中的数据同步到elasticsearch
- 实时同步MySQL数据到Elasticsearch
- Elasticsearch+mysql 数据同步
- elasticsearch mysql数据同步
- HBase数据同步到ElasticSearch的方案
- 用python简单实现mysql数据同步到ElasticSearch
- logstash jdbc同步mysql多表数据到elasticsearch
- elasticsearch-jdbc同步myslq数据到elasticsearch
- Elasticsearch+MySQL数据同步示例
- 将数据从PostgreSQL同步到Elasticsearch的经验总结
- Hbase学习2_HBase数据同步到ElasticSearch的方案
- logstash-out-mongodb实现elasticsearch到Mongodb的数据同步
- 从MongoDB同步数据到ElasticSearch 的五种方式
- 同步hive数据仓库数据到Elasticsearch的工具
- 将数据迁移到云端的最佳实践
- Android------JNI的调用方法
- DispatcherServlet 和 ContextLoaderListener 的关系,到底用哪个?
- Android逆向_常用的定位关键代码的6种方法
- Spring @Transactional 事务回滚
- OpenCV中ROI
- 同步mysql数据到ElasticSearch的最佳实践
- Rhyme/ Hibernate5.x SessionFactory创建方式 以及org.hibernate.MappingException: Unknown entity异常
- 程序开发的基本步骤是什么?
- Esp8266上电时IO抖动解决方案
- TensorFlow and deep learning,without a PhD
- django 从入门到高手 问题集
- FL Studio常见问题之通道窗口和步进音序器的设置
- 购物车
- linux配置ndk环境