elasticsearch 后集群状态下 聚合时 类型转换错误 原因及分析
来源:互联网 发布:知乎 美丽的句子 编辑:程序博客网 时间:2024/06/05 05:36
先来看下错误
前端错误
- 两层聚类时,外面一层返回的key是乱码,这个乱码并不是编码问题,而是根本没有对第二层的聚类分类。第一层里面的数据全部都是一样的。
- 直接报错,500或者503,类型转换错误或者解析异常。
后台错误:
[2015-11-30 11:06:56,105][DEBUG][action.search.type ] [local] failed to reduce searchorg.elasticsearch.action.search.ReduceSearchPhaseException: Failed to execute phase [fetch], [reduce] at org.elasticsearch.action.search.type.TransportSearchQueryThenFetchAction$AsyncAction$2.onFailure(TransportSearchQueryThenFetchAction.java:159) at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:41) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745)Caused by: java.lang.ClassCastException: org.elasticsearch.search.aggregations.bucket.terms.LongTerms$Bucket cannot be cast to org.elasticsearch.search.aggregations.bucket.terms.StringTerms$Bucket at org.elasticsearch.search.aggregations.bucket.terms.StringTerms$Bucket.compareTerm(StringTerms.java:85) at org.elasticsearch.search.aggregations.bucket.terms.InternalOrder$4.compare(InternalOrder.java:87) at org.elasticsearch.search.aggregations.bucket.terms.InternalOrder$4.compare(InternalOrder.java:83) at org.elasticsearch.search.aggregations.bucket.terms.InternalOrder$CompoundOrder$CompoundOrderComparator.compare(InternalOrder.java:284) at org.elasticsearch.search.aggregations.bucket.terms.InternalOrder$CompoundOrder$CompoundOrderComparator.compare(InternalOrder.java:270) at org.elasticsearch.search.aggregations.bucket.terms.support.BucketPriorityQueue.lessThan(BucketPriorityQueue.java:37) at org.elasticsearch.search.aggregations.bucket.terms.support.BucketPriorityQueue.lessThan(BucketPriorityQueue.java:26) at org.apache.lucene.util.PriorityQueue.insertWithOverflow(PriorityQueue.java:151) at org.elasticsearch.search.aggregations.bucket.terms.InternalTerms.reduce(InternalTerms.java:195) at org.elasticsearch.search.aggregations.InternalAggregations.reduce(InternalAggregations.java:140) at org.elasticsearch.search.aggregations.bucket.InternalSingleBucketAggregation.reduce(InternalSingleBucketAggregation.java:79) at org.elasticsearch.search.aggregations.InternalAggregations.reduce(InternalAggregations.java:140) at org.elasticsearch.search.controller.SearchPhaseController.merge(SearchPhaseController.java:407) at org.elasticsearch.action.search.type.TransportSearchQueryThenFetchAction$AsyncAction$2.doRun(TransportSearchQueryThenFetchAction.java:147) at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:36) ... 3 more
测试分析
以下测试集群中两个机器都单独存储数据
测试
- 在Elasticsearch1.6版本下,尝试多次后发现,当集群一开始只有一个时,即另一个并没有启动(两个机器的node.master都是默认值,也就是true)。插入数据,并进行聚类运算是正常的。当启动集群中另一个机器时,由于es会自动复制数据,复制完数据后,再进行聚类查询,结果错误。
- 在Elasticsearch1.6版本下,集群中的两台机器均启动,此时集群中没有数据。创建mapping并插入数据。再次进行查询,结果正确。
- 在Elasticsearch1.6版本下,集群中一台机器设置node.master: true,另一个设置为 false,先对master机器进行数据插入后,再启动slave机器进行自动数据复制。再次进行查询,结果错误。
- 在Elasticsearch1.7版本下,进行了同样的测试,每一次结果都和1.6版本相同。
分析
- 由于会出现类型转换错误,但是普通查询并没有出错。猜测是由于elasticsearch在集群中两台机器都可以是master的情况下导致mapping同步问题。而数据本身没错。
解决方法
如果要两个都是master,则需要在集群正常的情况下进行mapping的创建,数据的插入等等,避免出错。
回想
我觉得可能也和我的数据有原因吧,但是就算是数据有问题,索引本身,mapping也不应该出错。这里应该是Elasticsearch有一些问题导致。一下子我并不能从核心来解决这个问题。只能是在集群中,一定要正确使用。
另
还有一种查询方式,用脚本查询
{ "size": 0, "aggregations": { "counts": { "filter": { "bool": { "must": [], "must_not": [] } }, "aggregations": { "testId": { "terms": { "script": "doc['test_id'].value" }, "aggregations": { "userId": { "terms": { "script": "doc['user_id'].value" } } } } } } }}
终
最后还有一种方法,由于我的字段是long类型的,而且有很多这样的字段,却只有一个字段有问题,解决方法很简单,把这个字段修改成万能的string类型,就能解决问题。至于到底是什么原因导致的问题,我在看源码,但是,并不能一下子就搞定。稍等……
0 0
- elasticsearch 后集群状态下 聚合时 类型转换错误 原因及分析
- elasticsearch 后集群状态下 聚合时 类型转换错误 原因及分析
- Elasticsearch分析聚合
- ElasticSearch聚合分析API
- Elasticsearch分析聚合
- Elasticsearch分析聚合
- Java常见异常类型及原因分析(下)
- Elasticsearch- 集群状态查询
- elasticsearch 集群状态信息
- Elasticsearch(六)elasticsearch聚合分析
- elasticsearch集群的状态查看
- Elasticsearch 初探及window下集群的搭建
- centos7下elasticsearch 集群安装、配置及示例
- Strus常见错误及原因分析(ZZ)
- struts常见错误及原因分析
- Struts常见错误及原因分析
- Struts常见错误及原因分析
- Strus常见错误及原因分析
- 【11月英语】--我与♥英语PK台♥的二三事
- java内存空间详解
- 《启示录》阅读笔记(九)——产品人物角色+重新定义产品说明文档
- 单例模式的七种写法
- [Javascript String Math] String Methods, eval(), Math Methods
- elasticsearch 后集群状态下 聚合时 类型转换错误 原因及分析
- iOS 保持界面流畅的技巧(转自http://blog.ibireme.com/author/ibireme/)
- 《ArcGIS Runtime SDK for Android开发笔记》——数据制作篇:紧凑型切片制作(Server缓存切片)
- JDK6和JDK5的区别
- CDH5.4安装
- 全面介绍Windows内存管理机制及C++内存分配实例
- 《Going Deeper With Convolution》学习笔记
- 各大热补丁方案分析和比较
- iOS多线程技术