spark写数据到装有searchgard的ES集群
来源:互联网 发布:外贸crm软件 编辑:程序博客网 时间:2024/06/08 19:38
增加配置信息
val conf = new SparkConf()conf.setAppName("etl_data_to_es")
conf.set("es.net.ssl", "true")conf.set("es.net.ssl.truststore.location", "truststore.jks")conf.set("es.net.ssl.protocol", "TLSv1.2")conf.set("es.net.ssl.truststore.pass", "changeit")conf.set("es.net.http.auth.user", "admin")conf.set("es.net.http.auth.pass", "admin")conf.set("es.batch.size.entries", "4000")conf.set("es.batch.size.bytes", "4mb")conf.set("es.nodes.wan.only", "false")conf.set("es.internal.es.version","5.4.1")
添加资源
将truststore.jks文件放在项目的classpath目录下(resource文件夹中就行)
阅读全文
0 0
- spark写数据到装有searchgard的ES集群
- Spark写ES的遇到的坑
- ElasticSearch3.0-es集群的数据入库
- 提交任务到spark集群及spark集群的安装
- spark 读取 es 的es查询语法
- Spark/scala 写数据到Mysql数据库方法一
- Spark/scala 写数据到Mysql数据库方法二
- Spark Streaming +Kafka 使用底层API直接读取Kafka的Partition数据,手动更新Offset到Zookeeper集群
- 使用ES-Hadoop插件结合spark向es插入数据
- Spark提交任务到集群
- Spark提交任务到集群
- es 数据 导出 到 MySQL
- 安装spark集群中用到的各种安装包
- Spark应用(app jar)发布到Hadoop集群的过程
- 怎样升级spark集群到更新的版本?
- es 集群分片数据转移处理
- 跟上大数据的步伐:快速搭建Spark集群
- spark streaming 同时处理两个不同kafka集群的数据
- 删除单向链表中最小值
- 闭包的特点和判断闭包的执行结果
- DirectShow学习笔记总结
- svn 服务器
- Camera sensor 基本知识
- spark写数据到装有searchgard的ES集群
- 判断AndroidCPU32位还是64位
- HDU
- 多渠道打包正式签名APK
- 一篇真正教会你开发移动端页面的文章(二)
- leetcode 440. K-th Smallest in Lexicographical Order 第k个字典序的数字
- Numpy 总结
- 训练py-faster-rcnn(caffe)
- BRIEF描述子介绍及其opencv3实现