Splunk架构学习笔记

1. splunk架构

可以通过CLI,web接口，以及其它接口来实现对splunk的管理

2. splunk indexer 集群架构

master节点--告诉search head节点去哪里得到数据，并管理peer节点以及对peer节点进行健康检查

search head节点--对peer节点上的数据进行搜索，并管理集群下的peer节点搜索

peer节点就是indexer节点--返回数据以及建立数据索引

forwarder为部署在各远程服务器上的客户端，负责收集日志并传给peer节点

此处为peer节点的分布式架构，peer节点之间会将副本互相copy，至少为三个节点，每个副本至少有三个

3. splunk search 集群架构

search的集群就是search head的集群

search head节点会将knowledge objects复制并分发到peer节点上

knowledge objects包含了已保存的搜索文件，event types和其它用于搜索的entities。这些文件被存放在search head节点的$SPLUNK_HOME/var/run目录下。

4. 事件处理和数据管道

分析操作：为每个事件提取一组默认字段，配置字符集编码，使用换行规则识别行尾，标识时间戳，在此阶段可将splunk设置为以掩码显示敏感事件数据

索引管道：将所有事件分段，构建索引数据结构，将原始数据和索引文件写入磁盘

5. 搜索头集群与索引器集群的集成

    该集群架构分两种，一种为单站点indexer集群，一种为多站点的indexer集群（例如多城市之间的灾备）。此处先做单站点的集群。

配置每一个search head集群成员，运行以下命令

splunk edit cluster-config -mode searchhead -master_uri https://MasterIP:8089 -secret newsecret123 splunk restart

6. 连接search header与indexer cluster配置