kafka性能i以及与sparkstreaming对接性能优化
来源：互联网 发布：淘宝网舞蹈服装上衣 编辑：程序博客网 时间：2024/06/05 20:10
验证环境：2台master,8台Slave，24coreCPU,单核2G,128G内存，网络10GE
1.在kafka配置文件Server.properties中将log.dir设置为分布在不同磁盘上的多个目录，将不同topic和分区在不同的磁盘上
2.将Kafka启动脚本中的KAFKA_HEAP_OPTS选项中的-Xmx512M修改为-Xmx4G
3.kafka的生产者与broker，消费者与broker放在不同的节点上
4.结果输出方式，写HDFS之前，将结果进行一定合并减少HDFS写的频率
5.如果对SparkStreaming实时性要求不高，且内存充足，可以把APP batch时间间隔增大
0 0
- kafka性能i以及与sparkstreaming对接性能优化
- kafka的并行度与JStorm性能优化
- 程序性能优化：a[i][j]与a[j][i]
- SparkStreaming 性能调优
- Kafka性能测试与详解
- kafka性能与资源考虑
- ++i与i++性能比较
- 性能测试与性能优化
- Lotus开发性能优化 (I)
- 漫游Kafka设计篇之性能优化
- 漫游Kafka设计篇之性能优化
- 漫游Kafka设计篇之性能优化
- 漫游Kafka设计篇之性能优化
- 漫游Kafka设计篇之性能优化
- sparkstreaming性能调优记录
- SparkStreaming读取kafka数据进行反序列化以及mapPartition优化实例
- 性能优化与测试
- 性能测试与优化
- 深入浅出Redis（一）简介
- 1090. Highest Price in Supply Chain (25)
- JAVA学习笔记49——线程概念+进程、线程区别+创建进程三种方法
- 1091. Acute Stroke (30)
- 【Linux】Linux基本命令
- kafka性能i以及与sparkstreaming对接性能优化
- Linux 笔记
- 为什么选用 Scala
- CentOS6X上xCAT在线安装
- shell十三问之2：shell prompt(PS1)与Carriage Return(CR)关系
- 小马哥-----高仿红米note w8207主板拆机图与开机识别图 分移动版与联通版 有日期版本分别
- 最快速度找到内存泄漏
- CSharp - Memory leaks problem detection and solution
- android遥控器适配
