一个简单的日志采集方案

一、原理

原理很简单，首先程序端使用log4j，然后配上redis的appender，将日志暂存到redis，然后logstash从redis中拉取数据，再存储到elasticsearche，最后用kibana展示。大致流程图如下：

二、搭建

这里的搭建是为了演示采集方案，未考虑HA、安全等。

2.1 搭建elasticsearch

1、访问官方网站下载程序包，https://www.elastic.co/cn/downloads/elasticsearch

2、新建一个用户es（elasticsearch要求不能用root用户）

3、编辑/etc/security/limits.conf文件

es hard nofile 65536
es soft nofile 65536

目的是防止启动报错

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

4、编辑/etc/sysctl.conf

vm.max_map_count=655360

然后执行

sysctl -p

目的是防止启动报错

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

5、编辑配置文件elasticsearch.yml,主要修改如下属性

#指定es运行绑定ip
network.host=192.168.1.2
#指定es集群名称
cluster.name=myes

6、执行如下命令启动

./elasticsearch -d

7、访问http://192.168.1.2:9200，查看是否启动成功

2.2 搭建kibana

1、访问官方网站下载程序包，https://www.elastic.co/cn/downloads/kibana

2、修改配置文件kibana.yml ，主要修改如下字段

#kibana运行的ip
server.host=192.168.1.2
#es的地址
elasticsearch.url="http://192.168.1.2:9200"

3、然后启动kibana

./kibana &

4、访问http://192.168.1.2:5601查看是否启动成功

2.3 搭建logstash

1、访问官方网站下载程序包，https://www.elastic.co/cn/downloads/logstash

2、新建一个文件，名称为log.conf，内容如下

input{
redis{
host=>'192.168.1.97'
port=>'6379'
key=>"filmapi"
data_type=>"list"
type=>'redis-input'
}
}

output{
elasticsearch{
hosts=>'192.168.1.2:9200'
protocol=>"http"
index=>"filmapi"
}
}

3、启动logstash

./logstash -f ../config/log.conf

2.4 程序集成log4j

1、添加依赖

<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
<exclusions>
<exclusion>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-logging</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>com.ryantenney.log4j</groupId>
<artifactId>redis-appender</artifactId>
<version>1.0.1</version>
</dependency>
<dependency>
<groupId>net.logstash.log4j</groupId>
<artifactId>jsonevent-layout</artifactId>
<version>1.0</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</dependency>

2、修改配置文件

### set log levels ###
log4j.rootLogger = info,console,redis
#********************************************
#控制台的配置
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.Target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd-HH-mm} [%t] [%c] [%p] - %m%n
#********************************************
#redis的配置
log4j.appender.redis=com.ryantenney.log4j.RedisAppender
log4j.appender.redis.layout=net.logstash.log4j.JSONEventLayout
log4j.appender.redis.host=192.168.1.3
log4j.appender.redis.port=6379
#log4j.appender.redis.password=password
log4j.appender.redis.key=filmapi
log4j.appender.redis.period=500
log4j.appender.redis.batchSize=100
log4j.appender.redis.purgeOnFailure=true
log4j.appender.redis.alwaysBatch=true
log4j.appender.redis.daemonThread=true

3、启动程序

三、效果

1、redis中的数据效果



2、kibana中的数据效果