关于spark读取elasticsearch中数据,但是无法实现过滤数据的问题

来源:互联网 发布:淘宝客淘口令怎么设置 编辑:程序博客网 时间:2024/05/01 01:17

最近出现了一个问题,就是spark读取elasticsearch中的数据的时候,明明elasticsearch中有数据,但是spark读取数据,然后进行过滤的时候会把相关的数据都给过滤掉了,

找来找去是因为写index的时候出现的问题

当我使用这种方式读取es中的数据的时候,会出现的问题是

sc.esRDD("logstash-2016.11.24").values

这样读取的数据我使用filter过滤的时候没有任何的效果,都会过滤掉,但是

sc.esRDD("logstash-2016.11.24/syslog").values

写上Type的时候,情况发生了改变,它过滤出来了我想要的数据,

这是为毛呢?因为我从开始用的时候就是以index来过滤的,没有写type,也可以,但是现在不行了


我又进行了测试,数据如下但是我按照原来的方式进行读取过滤的时候却可以正常进行过滤,这是为毛,不知道了


又要重新修改程序,麻烦啊

0 0
原创粉丝点击
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防,我是瞎子 13岁发烧38.2度怎么办 头晕恶心想吐四肢无力怎么办 烧退了浑身疼怎么办 下午睡久了头疼怎么办 一天睡久了头疼怎么办 在家躺久了头疼怎么办 4周多儿童睡眠差怎么办 6岁儿童睡眠差怎么办 四年级的孩子不会写作文怎么办 四年级的孩子写不出作文怎么办? 欠了三万网贷怎么办 打完篮球浑身疼怎么办 在部队当兵意外死亡了怎么办 派派没有体力瓶怎么办 e记账登录不上怎么办 洁净净化区湿度高怎么办 政府测量土地少算了面积怎么办 北京武警欠我钱怎么办 被小混混打了怎么办 农保地建房子怎么办 WOW7.3到8.0橙装怎么办 90后离婚有孩子怎么办 90后的我们该怎么办 越南和中国结婚怎么办结婚证 改革怎么看走留怎么办事业怎么干 改革怎么看走留怎么办工作怎么干 军改怎么看我该怎么办 改革怎么办我该怎么干 改革怎么看 走留怎么办 腿又粗又弯怎么办 假发发量太多了怎么办 剃了发际线后悔怎么办 在外面遇到坏人抢劫怎么办 请事假单位不批怎么办 捷普请假不批怎么办 钉钉请假不审批怎么办 钉钉请假未审批怎么办 员工事假+工作履责怎么办 员工请事假不批怎么办 哺乳起员工一直请事假怎么办 请公休公司不批怎么办