Logback和Logstash的集成

有一段时间没有关注Logstash这个项目了，现在几个项目统一在ElasticSearch下面了。可喜！
http://www.elasticsearch.org/overview/elkdownloads/

Logstash是什么

大家在每台服务器上都有Log，规模小的话，一台一台机器登进去看当然没问题。但是当你有上十台以上，管理成本开始增加了，Logstash就是为了解决这个问题。

现在的应用通常以分布式的服务为主，一个流程调用这里一个服务，那里一个服务，当问题发生的时候，排查上比较困难，你必须得在每台相关的服务器上看日志，过程比较花时间。

以往有syslogd等工具可以汇总到一台机器，但都是以文件方式，搜索不方便。Logstash可配置输出到ElasticSearch服务帮忙做搜索功能，可以做到实时的关键字搜索，作为系统管理员，这个配置非常方便。

Logstash有相当多的渠道去获取Log，得到原始Log之后，可以配置做一下格式的转换，把关键的信息抽取出来，再输出到不同的地方，而ElasticSearch只是其中之一。

目前个人觉得比较方便的界面是Kibana，Kibana是一个比较友好的界面去看到在ElasticSearch上面的Log。

实际用例

在Java开发中，不少人会用到Logback作为日志的工具，由于Logback目前没有渠道直接把Log发到Logstash上，我就做了一个Appender，通过Redis以JSON格式把Log发布到Logstash里。达到的效果是，只要改改logback的配置，就可以把所有应用的Log汇聚在Logstash上。

前期准备：

Redis服务器，可以与Logstash在同一台服务器
Logstash＋ElasticSearch＋Kibana：安装过程参考官方文档

配置logback，需要一个转接的Appender，可以通过Maven依赖加到项目中：

<dependency>
<groupId>com.cwbase</groupId>
<artifactId>logback-redis-appender</artifactId>
<version>1.0.0</version>
</dependency>

非Maven（如Scala）就要按情况改变一下。

配上对应的logback.xml（或者相应的配置文件）

<configuration>
<appender name="LOGSTASH" class="com.cwbase.logback.RedisAppender">
<source>YOUR_APPLICATION_NAME</source>
<type>test</type>
<host>YOUR_REDIS_SERVER</host>
<key>logstash</key>   <!-- 这个Key是Redis List的Key，需要和Logstash读取Redis的Key匹配 -->
<tags>test</tags>
<mdc>true</mdc>
<location>true</location>
<callerStackIndex>0</callerStackIndex>
</appender>

<root level="DEBUG">
<appender-ref ref="LOGSTASH" />
</root>

</configuration>

每一个配置项可以参考项目的说明 https://github.com/kmtong/logback-redis-appender
简单的 Logstash Input 配置：http://www.logstash.net/docs/1.4.2/inputs/redis

input {
redis {
host => 'YOUR_REDIS_SERVER',
key => 'logstash',
data_type => 'list',
format => 'json_event'
# password => ... # password (optional)
# port => ... # number (optional), default: 6379
# tags => ... # array (optional)
# type => ... # string (optional)
}
}

现在就可以享受中央储存和搜索Log的好处了。