Logstash中配置默认索引映射(_default_属性)
来源:互联网 发布:qq飞车改装30雷诺数据 编辑:程序博客网 时间:2024/06/08 11:41
ES中使用自动检测对索引字段进行索引,例如IP、日期自动检测(默认开启)、数字自动检测(默认关闭)进行动态映射自动为文档设定索引,当需要为字段指定特定的类型时,可能使用Mapping在索引生成定义映射。
Logstash中默认索引的设置是基于模板的,对于indexer角色的logstash。首先我们需要指定一个默认的映射文件,文件的内容大致如下
(我们将它命名为logstash.json,存放在/home/apps/logstash/template/logstash.json):
{ "template" : "logstash*", "settings" : { "index.number_of_shards" : 5, "number_of_replicas" : 1, "index.refresh_interval" : "60s" }, "mappings" : { "_default_" : { "_all" : {"enabled" : true}, "dynamic_templates" : [ { "string_fields" : { "match" : "*", "match_mapping_type" : "string", "mapping" : { "type" : "string", "index" : "not_analyzed", "omit_norms" : true, "doc_values": true, "fields" : { "raw" : {"type": "string", "index" : "not_analyzed", "ignore_above" : 256,"doc_values": true} } } } } ], "properties" : { "@version": { "type": "string", "index": "not_analyzed" }, "geoip" : { "type" : "object", "dynamic": true, "path": "full", "properties" : { "location" : { "type" : "geo_point" } } } } } }}
例如假设有一字段存储内容为IP,不希望被自动检测识别为string类型,则可以在_default_中定义ip字段的type为IP,如下:
$ curl -XPUT localhost:9200/test?pretty -d '{"mappings":{"_default_":{"properties":{"ip":{"type":"ip"}}}}}'
其中template定义了匹配的索引模式,如果针对于特定的某个索引,则直接写成索引的名字即可。下面定义了映射的相关信息,与API的内容相同。
有了上面的配置文件,就可以在Logstash中配置output插件了:
output { elasticsearch { host => "localhost" #ES的服务器地址 protocol => "http" #使用的协议,默认可能会使用Node,具体还要看机器的环境 index => "logstash-%{+YYYY.MM.dd}" #匹配的索引模式 document_type => "test" #索引的类型,旧的配置会使用index_type,但是这个字段在新版本中已经被舍弃了,推荐使用document_type manage_template => true #注意默认为true,一定不能设置为false template_overwrite => true #如果设置为true,模板名字一样的时候,新的模板会覆盖旧的模板 template_name => "myLogstash" #注意这个名字是用来查找映射配置的,尽量设置成全局唯一的 template => "/home/apps/logstash/template/logstash.json" #映射配置文件的位置 }}
0 0
- Logstash中配置默认索引映射(_default_属性)
- Elasticsearch之_default_—— 为索引添加默认映射
- Vim中配置默认属性
- 映射文件中配置集合属性
- 如何为logstash+elasticsearch配置索引模板?
- 如何为logstash+elasticsearch配置索引模板?
- ElasticSearch中默认映射、重索引、索引别名、零停机时间
- springmvc中配置默认的注解映射支持
- [Elasticsearch] 索引管理 (五) - 默认映射,重索引,索引别名
- [Elasticsearch] 索引管理 (五) - 默认映射,重索引,索引别名
- Hibernate配置映射属性
- kahadb 默认属性配置
- Elasticsearch中的默认映射,重索引和索引别名
- Struts框架中 配置Result相关默认属性
- logstash配置
- logstash配置
- Logstash配置
- ElasticSearch学习笔记(五)在logstash中配置分词器和同义词过滤器
- PyQt4入门教程(6)_对话框
- 企业会计学
- 新手融入linux项目开发的必过关------编译工程代码
- 如何给maven项目增加新的jar包(从服务器上下载)---通过eclipse工具
- 深入理解Java 虚拟机(周志明)笔记(四)——Java对象创建过程
- Logstash中配置默认索引映射(_default_属性)
- 深入分析 Java 中的中文编码问题
- java thread join
- OSI七层模型详解(物理层、数据链路层、网络层、传输层.....应用层协议与硬件)
- Leetcode:66. Plus One(JAVA)
- Python基础--快速改造:基础知识
- 杭电1228
- Codeforces Round #345 (Div. 2) B. Beautiful Paintings
- VS2010产生C的dll方法和C#调用方式