企业级搜索elasticsearch应用03-前置处理器

一。Ingest Node

   IngestNode节点被用于对原始json数据预处理的节点 该节点只需要在 elasticsearch.yml中 添加 node.ingest: true    需要预处理的文档 只需要

添加一个pipeline（管道） 指定一系列的processor （处理器） 所以管道被运行在ingest节点 pipeline管道包含若干个处理器 源文档的处理可以

指定pipeline管道

 在处理文档时 指定管道的语法是

PUT 索引/类型/id?pipeline=指定管道{  "foo": "bar"}

pipeline的维护
1》添加管道（参考https://www.elastic.co/guide/en/elasticsearch/reference/current/put-pipeline-api.html）
管道添加语法

PUT _ingest/pipeline/管道id{  "description" : "测试管道",  "processors" : [     指定多个处理器  ]}

这里演示一个set处理器 在文档添加是 set一个字段（使用之前数据 http://blog.csdn.net/liaomin416100569/article/details/78727827）
比如在添加数据是 添加一个 状态字段 status:1

添加处理器

curl -XPUT '192.168.58.147:9200/_ingest/pipeline/myp' -d '{  "description" : "测试管道",  "processors" : [    {      "set" : {        "field": "status",        "value": "1"      }    }  ]}';

尝试添加一个用户信息

curl -XPUT '192.168.58.147:9200/user/info/12?pipeline=myp' -d '{"country":"中国","provice":"广东省","city":"广州市","age":"89","name":"王冠宇","desc":"王冠宇是王五的儿子"}';

查看该doc 发现多了一个status:1的字段 

[root@node1 ~]# curl -XGET '192.168.58.147:9200/user/info/12?pretty'{  "_index" : "user",  "_type" : "info",  "_id" : "12",  "_version" : 1,  "found" : true,  "_source" : {    "country" : "中国",    "city" : "广州市",    "provice" : "广东省",    "name" : "王冠宇",    "age" : "89",    "desc" : "王冠宇是王五的儿子",    "status" : "1"  }}

2》删除管道

curl -XDELETE '192.168.58.147:9200/_ingest/pipeline/myp'

修改 参考官方文档

二。常用前置处理器（参考https://www.elastic.co/guide/en/elasticsearch/reference/current/ingest-processors.html）

1》 set前置处理器 （https://www.elastic.co/guide/en/elasticsearch/reference/current/set-processor.html）

在文档被处理前 添加一个字段  语法

{  "set": {    "field": "field1",    "value": 582.1  }}

2》GROK处理器（https://www.elastic.co/guide/en/elasticsearch/reference/current/grok-processor.html）
使用grok表达式匹配字段中 特定规则的字符到对应json
grok表达式是正则更上一层的表达式 grok也支持正则的语法
语法格式是
   %{SYNTAX:SEMANTIC}
SYNTAX表示匹配的表达式  SEMANTIC表示将匹配的值写入的字段名 比如

3.44 55.3.244.1

匹配grok表达式

%{NUMBER:duration} %{IP:client}

NUMBER和IP都是内置的表达式名称 默认存在直接使用 举例 比如管道定义

curl -XPUT '192.168.58.147:9200/_ingest/pipeline/myp1?pretty' -d '{  "description" : "grok测试",  "processors": [    {      "grok": {        "field": "message",        "patterns": ["%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"]      }    }  ]}';

测试数据

curl -XPUT '192.168.58.147:9200/test/test/1?pipeline=myp1&pretty' -d '{  "message": "55.3.244.1 GET /index.html 15824 0.043"}'; 

查询结果

[root@node1 httpd]# curl -XGET '192.168.58.147:9200/test/test/1?pretty'{  "_index" : "test",  "_type" : "test",  "_id" : "1",  "_version" : 1,  "found" : true,  "_source" : {    "duration" : "0.043",    "request" : "/index.html",    "method" : "GET",    "bytes" : "15824",    "client" : "55.3.244.1",    "message" : "55.3.244.1 GET /index.html 15824 0.043"  }}

其他处理器参考官网