关于spark读取elasticsearch中数据,但是无法实现过滤数据的问题
来源:互联网 发布:淘宝客淘口令怎么设置 编辑:程序博客网 时间:2024/05/01 01:17
最近出现了一个问题,就是spark读取elasticsearch中的数据的时候,明明elasticsearch中有数据,但是spark读取数据,然后进行过滤的时候会把相关的数据都给过滤掉了,
找来找去是因为写index的时候出现的问题
当我使用这种方式读取es中的数据的时候,会出现的问题是
sc.esRDD("logstash-2016.11.24").values
这样读取的数据我使用filter过滤的时候没有任何的效果,都会过滤掉,但是
sc.esRDD("logstash-2016.11.24/syslog").values
写上Type的时候,情况发生了改变,它过滤出来了我想要的数据,
这是为毛呢?因为我从开始用的时候就是以index来过滤的,没有写type,也可以,但是现在不行了
我又进行了测试,数据如下但是我按照原来的方式进行读取过滤的时候却可以正常进行过滤,这是为毛,不知道了
又要重新修改程序,麻烦啊
0 0
- 关于spark读取elasticsearch中数据,但是无法实现过滤数据的问题
- spark中读取elasticsearch数据
- spark 读取elasticsearch中数据不完整问题
- Spark通过https的方式读取elasticsearch中的数据
- Spark Streaming 读取Kafka数据写入Elasticsearch
- elasticsearch的3个基本问题之读取数据
- 关于读取Excel表中数据的问题!!!
- elasticsearch中节点都启动但是无法形成集群问题
- 使用spark访问elasticsearch的数据
- spark中遇到的数据倾斜问题
- 关于Map数据插入读取的问题
- 从Excel中读取数据,关于一列数据包含多种数据类型的问题
- 关于"无法验证数据"的问题
- 关于listView无法刷新数据的问题
- Spark在Hadoop的HDFS中读取数据
- spark streaming 读取kafka数据问题
- 关于InputFormat的数据划分、Split调度、数据读取问题
- 关于InputFormat的数据划分、Split调度、数据读取问题
- 在表格中判断当前日期是否快到期
- linux shell操作hbase
- 如何将EditText中字符转换为大写
- 免root远程控制app beta1
- Android Service完全解析,关于服务你所需知道的一切(上)
- 关于spark读取elasticsearch中数据,但是无法实现过滤数据的问题
- 图像平滑之平均平滑
- 学习Linux你必须知道的那些事儿
- 常见web前台技术之间的关系html,css,javascript
- Activiti工作流服务和功能介绍
- 图片的缓存与下载
- Visio2002、2003、2007下载地址整理 以及 相关网址链接
- spring mongodb查询
- Tomcat7中javax.el.ELException异常信息的处理