Logstash 2.2采集数据发送到ES 2.2上

鉴于flume 1.6对于Elasticsearch 2.2支持的不给力，决定用logstash 2.2进行数据采集。

logstash安装

Logstash 2.2.2链接地址
https://www.elastic.co/thank-you?url=https://download.elastic.co/logstash/logstash/logstash-2.2.2.zip
[root@laiym ~]# unzip logstash-2.2.2.zip

[root@laiym ~]# mv logstash-2.2.2 /usr/local/logstash

logstash配置

[root@laiym ~]# cd /usr/local/logstash/

##此处需要翻墙，logstash发送数据到ES，默认使用http协议，如果要使用node和transport协议，下载logstash-output-elasticsearch_java。

[root@laiym ~]# ./bin/plugin install --version 2.0.0logstash-output-elasticsearch_java

[root@laiym logstash]# mkdir conf

[root@laiym logstash]# vim conf/secure-es.conf

#采集linux secure数据，发送到ES上。

input {

file {

path=> "/var/log/secure"

type=> "linux_secure"

}

}

filter {

grok {

match=> { "message" => "%{COMBINEDAPACHELOG}" }

}

date {

match=> [ "timestamp" , "MMM dd HH:mm:ss" ]

}

}

output {

elasticsearch {

hosts=> ["192.168.1.159:9200"]

index=> "linux_secure"

}

stdout { codec => rubydebug }

}

logstash启动

[root@laiym logstash]# ./bin/logstash -f conf/secure-es.conf



关键是logstash配置简单容易上手，对同版本的elasticsearch支持比较好。