从logstash -> output -> elasticsearch动态模板说起

logstash索引映射

"mappings": {
"_default_": {
"dynamic_templates": [
{
"string_fields": {
"mapping": {
"index": "analyzed",
"omit_norms": true,
"type": "string",
"fields": {
"raw": {
"index": "not_analyzed",
"ignore_above": 256,
"type": "string"
}
}
},
"match": "*",
"match_mapping_type": "string"
}
}
],
"_all": {
"enabled": true
},
"properties": {
"@version": {
"type": "string",
"index": "not_analyzed"
},
"geoip": {
"dynamic": "true",
"properties": {
"location": {
"type": "geo_point"
}
}
}
}
},
"hkt_log": {
"dynamic_templates": [
{
"string_fields": {
"mapping": {
"index": "analyzed",
"omit_norms": true,
"type": "string",
"fields": {
"raw": {
"index": "not_analyzed",
"ignore_above": 256,
"type": "string"
}
}
},
"match": "*",
"match_mapping_type": "string"
}
}
],
"_all": {
"enabled": true
},
"properties": {
"@timestamp": {
"type": "date",
"format": "dateOptionalTime"
},
"@version": {
"type": "string",
"index": "not_analyzed"
},
"geoip": {
"dynamic": "true",
"properties": {
"location": {
"type": "geo_point"
}
}
},
"host": {
"type": "string",
"norms": {
"enabled": false
},
"fields": {
"raw": {
"type": "string",
"index": "not_analyzed",
"ignore_above": 256
}
}
},
"message": {
"type": "string",
"norms": {
"enabled": false
},
"fields": {
"raw": {
"type": "string",
"index": "not_analyzed",
"ignore_above": 256
}
}
},
"path": {
"type": "string",
"norms": {
"enabled": false
},
"fields": {
"raw": {
"type": "string",
"index": "not_analyzed",
"ignore_above": 256
}
}
},
"type": {
"type": "string",
"norms": {
"enabled": false
},
"fields": {
"raw": {
"type": "string",
"index": "not_analyzed",
"ignore_above": 256
}
}
}
}
}
}

_ default _映射

当logstash的输出插件为elasticsearch时，logstash在向ES中index数据，会自动为当前创建一个“default“的映射，后面所有该索引下新建的type mapping都将继承这个default的映射。

这个default映射，_all字段默认是disabled，这里将其enabled

默认增加@version字段

geoip字段dynamic true表示该字段下可以动态的添加新字段

下面的type hkt_log继承了default的映射内容。

dynamic_templates

通过dynamic_templates，你可以拥有对新字段的动态映射规则拥有完全的控制。你设置可以根据字段名称或者类型来使用一个不同的映射规则。

每个模板都有一个名字，可以用来描述这个模板做了什么。同时它有一个mapping用来指定具体的映射信息，和至少一个参数(比如match)用来规定对于什么字段需要使用该模板。

模板的匹配是有顺序的 - 第一个匹配的模板会被使用。

上面logstash的模板中定义一个所有字符串字段的统计设置模板：

{
"string_fields": {
"mapping": {
"index": "analyzed",
"omit_norms": true,
"type": "string",
"fields": {
"raw": {
"index": "not_analyzed",
"ignore_above": 256,
"type": "string"
}
}
},
"match": "*",
"match_mapping_type": "string"
}
}

string_fields 是模板名称，所有字符串字段统一映射定义。

match_mapping_type允许你只对特定类型的字段使用模板，正如标准动态映射规则那样，比如string，long等。

match参数只会匹配字段名。

另外还有path_match参数用于匹配对象中字段的完整路径，比如address.*.name可以匹配如下字段：

{
"address":
"city":
"name": "New York"
}
}
}

unmatch和path_unmatch模式能够用来排除某些字段，没有被排除的字段则会被匹配。

fields 是一个多字段属性，假如有一个字段叫message，那么表示会有一个子段message.raw，其中保存着message字段的原始内容，不会被分析器分析。

”index”: “not_analyzed” 不分析字段内容

“ignore_above”: 256 最长处理256字符

“type”: “string” 字符串类型

hkt_log类型映射

我们可以看到hkt_log类型的映射完全继承了default的映射内容，同时动态的添加了特定字段，但是可以看到所有字符串字段都遵循着string_fields模板的定义，如message字段：

"message": {
"type": "string",
"norms": {
"enabled": false
},
"fields": {
"raw": {
"type": "string",
"index": "not_analyzed",
"ignore_above": 256
}
}
}

message会有一个子段raw，保存着未经分析器分析过的原始内容。

那了多了这样一个字段有什么好处呢？

我们先向hkt_log中增加一个文档：

put logstash-2015.10.01/hkt_log/1
{
"message": "jfy/zhyy?123",
"@version": "1",
"@timestamp": "2015-11-12T03:14:41.435Z",
"type": "hostapd1_log",
"host": "server114",
"path": "/root/hostapd/hostapd1.log"
}

下面查询message字段中包含”?”的文档：

{
"query":{
"regexp":{
"message":{"value":".*\\?.*"}
}
}
}

查不到结果，改成：

{
"query":{
"regexp":{
"message.raw":{"value":".*\\?.*"}
}
}
}

可以查询到。

这是因为message字段内容”jfy/zhyy?123”被分析器分析后，变成了三个单词：jfy,zhyy,123，其中的”/”和”?”分析器是忽略掉的。

POST logstash-2015.10.01/_analyze
jfy/zhyy?123

{
"tokens": [
{
"token": "jfy",
"start_offset": 0,
"end_offset": 3,
"type": "<ALPHANUM>",
"position": 1
},
{
"token": "zhyy",
"start_offset": 4,
"end_offset": 8,
"type": "<ALPHANUM>",
"position": 2
},
{
"token": "123",
"start_offset": 9,
"end_offset": 12,
"type": "<NUM>",
"position": 3
}
]
}

而message.raw是原样存储，因此用通配符就能查询。