23.ELK实时日志分析平台之Beats平台搭建

在被监控的系统使用Beats平台，要配合Elasticsearch、Logstash（如果需要的话）、Kibana共同使用。搭建该平台要求在安装Beat客户端的机器上可以访问到Elasticsearch、Logstash(如果有的话)以及Kibana服务器。随着系统的演进，可能会将Elasticsearch扩展为集群，或者将部署过程自动化。

1.安装Elasticsearch

Elasticsearch是一个实时的、分布式存储、查询和分析引擎。它尤其擅长索引半结构化的数据，比如日志或者网络报文。关于Elasticsearch的更详细的安装过程可以参考Elasticsearch安装过程，确认Elasticsearch安装并运行成功后，进行下一步。

2.安装Logstash(可选)

在最简单的Beats平台中，可以不使用Logstash，使用Logstash的优势在于可以自由调整Beats收集到的数据的格式，并且Logstash有很多output的插件可以与其他系统很好的结合。关于Logstash的更详细的安装过程可以参考这里。

确认Logstash安装并运行成功后，还需要对Logstash进行一些配置才可以配合Beats平台使用。比如，Logstash使用input beat plugin接收来自beat的数据，然后使用Elasticsearch output plugin向Elasticsearch发送数据，比如在/etc/logstash/conf.d目录下添加配置文件beats-input.conf：

input {
beats {
port => 5044
type => "logs"
}
}

再添加如下配置文件output.conf：

output {
elasticsearch {
hosts => "localhost:9200"
index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
document_type => "%{[@metadata][type]}"
}
}

当然，需要在Beat的配置文件中指定将收集到的数据发送给Logstash，下面以使用Filebeat收集日志为例讲解Logstash与Filebeat配合的方法。

3.安装Filebeat

关于Filebeat的更详细的安装过程可以参考这里。在filebeat.yml的配置文件中，配置要监控的日志文件的路径，然后配置Filebeat向Logstash输出，需要在output字段将向Elasticsearch输出的配置注释掉，然后将向Logstash的输出的配置反注释掉。比如：

output:
logstash:
hosts: ["localhost:5044"]

在启动Filebeat之前，需要Elasticsearch加载相应的索引模板，推荐使用的模板在安装Filebeat的时候已经放在其配置路径下面了，名字叫做filebeat.template.json，可以使用如下命令装载模板：

$ curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@/etc/filebeat/filebeat.template.json

然后从下游到上游依次启动各个工具：

$ sudo service elasticsearch restart
$ sudo service logstash restart
$ sudo service filebeat restart

在被监控日志文件中添加内容，查看/var/lib/elasticsearch中是否有新增内容，如果有的话，进行下一步。

4.安装Kibana

Kibana是一个与Elasticsearch配合使用的图形化工具，提供高度可定制化的UI。关于Kibana的更详细的安装过程可以参考这里。确认Kibana安装并运行成功后，在浏览器中访问http://localhost:5601，第一次使用会跳转至Kibana的配置界面，填入配置的索引的pattern（本教程的index pattern是filebeat-*），敲入回车，然后点击Create：



接下来显示将会被显示在Kibana的Field字段：



目前我们先忽略这部分的内容，点击左上角的Discover页签，在被监控的日志中添加新的一行并保存，就会看到日志中的信息：



至此，最简单的ELK日志分析平台就搭建完成了。后续如果想根据自己的需求进行定制，需要继续深入研究Filebeat、Logstash、Elasticsearch及Kibana的配置了。