elasticsearch 压测优化后的配置

来源：互联网发布：linux程序权限编辑：程序博客网时间：2024/06/06 23:55

配置说明

一、JVM配置：

Jdk1.8（es要求最低jdk1.7）

最大堆最小堆均为32G

GC类型：-XX:+UseG1Gc -XX:MaxGCPauseMillis=200 。

其他默认。

二、Es集群配置：

cluster.name: es-test

node.name: "test-169-71"

node.master: false

node.data: true

index.store.type: niofs 读写文件方式

index.cache.field.type: soft 缓存类型

bootstrap.mlockall: true 禁用swap

gateway.type: local 本地存储

gateway.recover_after_nodes: 3 3个数据节点开始恢复

gateway.recover_after_time: 5m 5分钟后开始恢复数据

gateway.expected_nodes: 4 4个es节点开始恢复

cluster.routing.allocation.node_initial_primaries_recoveries:8 并发恢复分片数

cluster.routing.allocation.node_concurrent_recoveries:2 同时recovery并发数

indices.recovery.max_bytes_per_sec: 250mb 数据在节点间传输最大带宽

indices.recovery.concurrent_streams: 8 同时读取数据文件流线程

discovery.zen.ping.multicast.enabled: false 禁用多播

discovery.zen.ping.unicast.hosts:["192.168.169.51:9300", "192.168.169.52:9300"]

discovery.zen.fd.ping_interval: 10s 节点间存活检测间隔

discovery.zen.fd.ping_timeout: 120s 存活超时时间

discovery.zen.fd.ping_retries: 6 存活超时重试次数

http.cors.enabled: true 使用监控

index.analysis.analyzer.ik.type:"ik" ik分词

#####thread pool setting#################

threadpool.index.type: fixed 写索引线程池类型

threadpool.index.size: 64 线程池大小（建议2~3倍cpu数）

threadpool.index.queue_size: 1000 队列大小

threadpool.search.size: 64 搜索线程池大小

threadpool.search.type: fixed 搜索线程池类型

threadpool.search.queue_size: 1000 队列大小

threadpool.get.type: fixed 取数据线程池类型

threadpool.get.size: 32 取数据线程池大小

threadpool.get.queue_size: 1000 队列大小

threadpool.bulk.type: fixed 批量请求线程池类型

threadpool.bulk.size: 32 批量请求线程池大小

threadpool.bulk.queue_size: 1000 队列大小

threadpool.flush.type: fixed 刷磁盘线程池类型

threadpool.flush.size: 32 刷磁盘线程池大小

threadpool.flush.queue_size: 1000 队列大小

#indices.store.throttle.type: merge

indices.store.throttle.type: none 写磁盘类型

indices.store.throttle.max_bytes_per_sec:500mb 写磁盘最大带宽

index.merge.scheduler.max_thread_count: 8 索引merge最大线程数

index.translog.flush_threshold_size:600MB 刷新translog文件阀值

阅读全文

0 0