spark读取elasticsearch中的多个index

来源:互联网 发布:solidworks是什么软件 编辑:程序博客网 时间:2024/06/05 12:49

spark读取elasticsearch中的多个index

有几个思路可供选择
1.直接用逗号隔开多个index,代码如下
val esLogs=sc.esRDD("logstash-2016.04.05,logstash-2016.04.06")
2.读取每一个,结果是RDD,然后将两个RDD进行合并,使用join是对两个RDD进行交集,union是取并集

val esLogs=sc.esRDD("logstash-2016.04.05")
val esLogs2=sc.esRDD("logstash-2016.04.06")
<pre code_snippet_id="1648372" snippet_file_name="blog_20160415_4_893201" name="code" class="html">var esSumlogs=esLogs.join(esLogs2)






以上代码经过本人实战检验
0 0
原创粉丝点击