Spark thriftserver连elasticsearch
来源:互联网 发布:学生体质监测数据上报 编辑:程序博客网 时间:2024/05/16 23:55
1.需要将elasticsearch-hadoop-2.1.0.Beta4.jar包放入/usr/local/spark/lib,下载地址为:https://www.elastic.co/products/hadoop/
2.需要在/usr/local/spark/conf的hive-site.xml中进行配置
3.启动thriftserver,并在—jars后面带上此jar包
./start-thriftserver.sh --master local--driver-class-path /usr/local/spark/postgresql-9.4-1201.jdbc41.jar --jars/usr/local/spark/lib/elasticsearch-hadoop-2.1.0.Beta4.jar
4.创建artists表,并将它的index名称命名为default,type名称命名为artists
5.可以看到它的数据,通过curl访问elasticsarch的rest api:
6.可以联合查询此表与已存在的表
此方法完美解决elasticsearch自身的api难以多表关联查询的问题。
0 0
- Spark thriftserver连elasticsearch
- Spark-ThriftServer源码分析
- 关于spark thriftserver的提问
- spark-sql(二)---ThriftServer模式
- [spark]Spark thriftserver(HiveServer2) Custom认证
- Spark 1.6.3 thriftServer 支持 ldap 配置
- 如何在Spark平台搭建ThriftServer
- cdh上使用spark-thriftserver操作carbondata
- 编译spark:[thriftServer.sh属于测试阶段 hive-0.13.1]
- spark基础之Spark SQL和Hive的集成以及ThriftServer配置
- Elasticsearch-Spark 体验
- apache spark 结合 elasticsearch
- spark与elasticsearch整合
- spark查询elasticsearch
- spark导入elasticsearch
- Spark操作ElasticSearch
- Spark integration ElasticSearch
- elasticSearch spark支持
- ios crash分析方法
- dependencies 和 dependencyManagement
- Hadoop简介(1):什么是Map/Reduce
- 利用tcpdump解决无法收到组播的问题
- C++中拷贝(复制)构造函数和赋值运算符重载函数
- Spark thriftserver连elasticsearch
- iOS 常见错误总结(1)
- treeview 的一点用法
- spring特性1-依赖注入
- 设计模式之单例(PHP实现)
- GCC安装
- 轻松搞定面试中的二叉树题目
- EasyUI Datagrid 用户列表鼠标悬停/离开数据行
- gdbserver调试