Logstash学习11_Logstash处理时区、类型转换、删除字段的案例配置
2017-02-17 15:18
1016 查看
#输入
input {
file {
path => ["文件路径"]
#自定义类型
type => "自定义"
start_position => "beginning"
}
}
#过滤器
filter{
#去除换行符
mutate{
gsub => [ "message", "\r", "" ]
}
#逗号分割
mutate {
split => ["message",","]
}
#分割后,字段命名与赋值
mutate{
add_field => {
"id" => "%{[message][0]}"
"mydate" => "%{[message][1]}"
"user" => "%{[message][2]}"
"pc" => "%{[message][3]}"
"to_user" => "%{[message][4]}"
"cc" => "%{[message][5]}"
"bcc" => "%{[message][6]}"
"from_user" => "%{[message][7]}"
"size" => "%{[message][8]}"
"attachments" => "%{[message][9]}"
"content" => "%{[message][10]}"
}
}
#字段里的日期识别,以及时区转换,生成date
date {
match => [ "mydate", "MM/dd/yyyy HH:mm:ss" ]
target => "date"
locale => "en"
timezone => "+00:00"
}
#删除无用字段
mutate {
remove_field => "message"
remove_field => "mydate"
remove_field => "@version"
remove_field => "host"
remove_field => "path"
}
#将两个字段转换为整型
mutate{
convert => { "size" => "integer" }
convert => { "attachments" => "integer" }
}
}
#输出,输出目标为es
output {
#stdout { codec => rubydebug }
elasticsearch {
#目标主机
host => ["目标主机1","目标主机2"]
#协议类型
protocol => "http"
#索引名
index =>"自定义"
}
}
input {
file {
path => ["文件路径"]
#自定义类型
type => "自定义"
start_position => "beginning"
}
}
#过滤器
filter{
#去除换行符
mutate{
gsub => [ "message", "\r", "" ]
}
#逗号分割
mutate {
split => ["message",","]
}
#分割后,字段命名与赋值
mutate{
add_field => {
"id" => "%{[message][0]}"
"mydate" => "%{[message][1]}"
"user" => "%{[message][2]}"
"pc" => "%{[message][3]}"
"to_user" => "%{[message][4]}"
"cc" => "%{[message][5]}"
"bcc" => "%{[message][6]}"
"from_user" => "%{[message][7]}"
"size" => "%{[message][8]}"
"attachments" => "%{[message][9]}"
"content" => "%{[message][10]}"
}
}
#字段里的日期识别,以及时区转换,生成date
date {
match => [ "mydate", "MM/dd/yyyy HH:mm:ss" ]
target => "date"
locale => "en"
timezone => "+00:00"
}
#删除无用字段
mutate {
remove_field => "message"
remove_field => "mydate"
remove_field => "@version"
remove_field => "host"
remove_field => "path"
}
#将两个字段转换为整型
mutate{
convert => { "size" => "integer" }
convert => { "attachments" => "integer" }
}
}
#输出,输出目标为es
output {
#stdout { codec => rubydebug }
elasticsearch {
#目标主机
host => ["目标主机1","目标主机2"]
#协议类型
protocol => "http"
#索引名
index =>"自定义"
}
}
相关文章推荐
- 黑马程序员_学习日记37_601基础加强(enums_truct_类型转换_值类型与引用类型_异常处理_函数返回值)
- python 学习记录(11)-文件处理/读取文件/文件写入内容/文件删除/文件复制/文件重命名/后缀名/内容查找与替换/文件比较/ 配置文件访问/目录创建与删除/遍历目录/定向输出
- 如何在logstash的配置文件里边删除csv中columns中多余的field字段
- JavaScrip学习之旅(11)JavaScript类型转换 (整型---浮点型)
- Spring学习-11:配置文件引入的问题(配置文件过于庞大,不便于修改的处理方法)
- springMVC中返回json时,日期类型自动转换为long类型的时间戳的处理方案(一个配置解决)
- CXF学习04---处理MAP等CXF无法自动转换的复合数据类型的形参和返回值
- logstash 字段类型转换后 需要刷新
- OC基础:OC 基本数据类型与对象之间的转换方法 分类: ios学习 OC 2015-06-18 20:01 11人阅读 评论(0) 收藏
- C#学习笔记1-类型之间的转换 分享修改删除
- CXF学习(4) 处理无法自动转换的复合数据类型
- python处理datetime类型的时区转换
- logstash 字段类型转换后 需要刷新
- JavaWeb学习笔记-mybatis-12-mybatis配置-类型处理typeHandlers
- 【JavaEE学习笔记】Hibernate_05_数据类型转换和大对象处理,QBC(junit),DAO接口
- swift基础学习(06)[必要构造器,可空链式调用,错误处理,类型转换]
- yii2 Ecommerce 特殊字段的mongo数据处理。不能通过info配置自动转换类型的数据
- access数据库用sql语句添加字段,修改字段,删除字段,类型转换
- struts2系列学习笔记(8)---------------类型转换的错误处理
- logstash 字段类型转换后 需要刷新