spark读取elasticsearch中的多个index
来源:互联网 发布:solidworks是什么软件 编辑:程序博客网 时间:2024/06/05 12:49
spark读取elasticsearch中的多个index
有几个思路可供选择
1.直接用逗号隔开多个index,代码如下
val esLogs=sc.esRDD("logstash-2016.04.05,logstash-2016.04.06")2.读取每一个,结果是RDD,然后将两个RDD进行合并,使用join是对两个RDD进行交集,union是取并集
val esLogs=sc.esRDD("logstash-2016.04.05")
val esLogs2=sc.esRDD("logstash-2016.04.06")
<pre code_snippet_id="1648372" snippet_file_name="blog_20160415_4_893201" name="code" class="html">var esSumlogs=esLogs.join(esLogs2)
0 0
- spark读取elasticsearch中的多个index
- Spark通过https的方式读取elasticsearch中的数据
- spark中读取elasticsearch数据
- Spark Streaming 读取Kafka数据写入Elasticsearch
- Spark读取Hbase中的数据
- Spark读取Hbase中的数据
- spark 读取hbase中的数据
- Spark读取Hbase中的数据
- spark读取配置文件中的配置
- kibana对接elasticsearch集群中的多个节点
- spark 读取elasticsearch中数据不完整问题
- 图解Elasticsearch中的_source、_all、store和index属性
- 图解Elasticsearch中的_source、_all、store和index属性
- Elasticsearch中的_source、_all、store和index属性
- 图解Elasticsearch中的_source、_all、store和index属性
- 图解Elasticsearch中的_source、_all、store和index属性
- 图解Elasticsearch中的_source、_all、store和index属性
- 图解Elasticsearch中的_source、_all、store和index属性
- Tomcat 安装配置
- 代码优化他人理解
- getelementbyid属性与用法
- 菜鸟网址导航
- jQuery笔记
- spark读取elasticsearch中的多个index
- Android Fragment之间参数传递通过Activity中的变量
- 进程的状态
- 基于局部均方差相关信息的图像去噪及其在实时磨皮美容算法中的应用。
- fatal error: curses.h: No such file or directory
- scala+play2.2.2+slick2.0.2 + mysql5.0整合之一---基础环境搭建篇
- RF+Python实现右键操作
- ROS 下navigation/robot_pose_ekf编译报错
- 手机web——自适应网页设计(html/css控制)