elk+redis 搭建日志分析平台
2015-10-19 16:26
731 查看
Elk分别为 elasticsearch,logstash, kibana
elk资料:http://kibana.logstash.es/content/
官网为:https://www.elastic.co/products
Elasticsearch:
https://www.elastic.co/downloads/elasticsearch
https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz
logstash:
https://www.elastic.co/downloads/logstash
https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
kibana:
https://www.elastic.co/products/kibana
https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
1、先说一下规划
2、Ubuntu安装环境:
apt-get install vim unix2dos wget curl curl-devel expect expect-devel
apt-get install gcc glibc glib2 libgcc glibc-devel glib2-devel
apt-get install m4 automake autoconf cmake cpp
apt-get install gcc-c++ libstdc++ libstdc++-devel libstdc++-docs
Wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz
Wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
Wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
Wget http://download.redis.io/releases/redis-3.0.4.tar.gz
安装redis
#tar –xvzf redis-3.0.4.tar.gz
#cd redis-3.0.4
#make
#make install
#cd utils
#./install_server.sh
这样redis就安装好了
#which redis-server在/usr/local/bin/redis-server
配置文件放在/etc/redis/6379.conf文件
#redis-cli
>keys *
>set aa aavalue
>get aa 即可测试。
安装elasticsearch,解压即可
#cd
#tar –xvzf elasticsearch-1.7.1.tar.gz
安装logstash,解压即可
#cd
#tar –xvzf logstash-1.5.4.tar.gz
安装kibana,解压即可
#tar –xvzf kibana-4.1.2-linux-x64.tar.gz
Elk + redis程序安装全部完成。
由于elasticsearch和logstash是安装在一台机器上所以elasticsearch默认配置即可。
/usr/local/elasticsearch/bin/elasticsearch –d (以deamon方式启动elasticsearch)
打开192.168.15.62:9200即可看到
配置logstash程序
# 在logstash\bin目录下,mkdir conf logs两个文件夹,conf用于存放配置文件,logs用于存放日志文件
在该conf目录下建立一个central.conf配置文件:
该文件说明是以redis为输入,输出到elasticsearch程序,格式为json协议为http.
注意:logstash每启动一次就会生成一个sincedb_path,防止重复导入数据,测试环境下删除ssincedb_path文件,logstash即可重新执行。
再次重复启动时打印 No sincedb_path set, generating one based on the file path
启动logstash程序如图:
#logstash agent --verbose -f conf/central.conf –log logs/stdout.log
Kibana程序现在是4版本了,自带web,端口为5601:
#cd kibana/bin
#./kibana程序即可。
现在可以打开 kibana的页面了。
服务器安装完成了,现在要在客户端收集日志
#tar –xvzf logstash-1.5.4.tar.gz
#cd logstash/bin目录
同样需要#mkdir conf logs存放配置文件和日志文件。
Gedit logstash_agent.conf
启动该logstash程序即可。
#logstash --verbose –f /usr/local/logstash/etc/logstash_agent.conf
这样就把日志传给了日志服务器了。
打开http://127.0.0.1:5601。就是打开kibana页面。
配置一下:
就可以看到日志以传送过来。如图:
附上最简单的logstash conf
elk资料:http://kibana.logstash.es/content/
官网为:https://www.elastic.co/products
Elasticsearch:
https://www.elastic.co/downloads/elasticsearch
https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz
logstash:
https://www.elastic.co/downloads/logstash
https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
kibana:
https://www.elastic.co/products/kibana
https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
1、先说一下规划
2、Ubuntu安装环境:
apt-get install vim unix2dos wget curl curl-devel expect expect-devel
apt-get install gcc glibc glib2 libgcc glibc-devel glib2-devel
apt-get install m4 automake autoconf cmake cpp
apt-get install gcc-c++ libstdc++ libstdc++-devel libstdc++-docs
Wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz
Wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
Wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
Wget http://download.redis.io/releases/redis-3.0.4.tar.gz
安装redis
#tar –xvzf redis-3.0.4.tar.gz
#cd redis-3.0.4
#make
#make install
#cd utils
#./install_server.sh
这样redis就安装好了
#which redis-server在/usr/local/bin/redis-server
配置文件放在/etc/redis/6379.conf文件
#redis-cli
>keys *
>set aa aavalue
>get aa 即可测试。
安装elasticsearch,解压即可
#cd
#tar –xvzf elasticsearch-1.7.1.tar.gz
安装logstash,解压即可
#cd
#tar –xvzf logstash-1.5.4.tar.gz
安装kibana,解压即可
#tar –xvzf kibana-4.1.2-linux-x64.tar.gz
Elk + redis程序安装全部完成。
由于elasticsearch和logstash是安装在一台机器上所以elasticsearch默认配置即可。
/usr/local/elasticsearch/bin/elasticsearch –d (以deamon方式启动elasticsearch)
打开192.168.15.62:9200即可看到
配置logstash程序
# 在logstash\bin目录下,mkdir conf logs两个文件夹,conf用于存放配置文件,logs用于存放日志文件
在该conf目录下建立一个central.conf配置文件:
input{ redis{ host=>"127.0.0.1" port=>6379 type=>"redis-input" data_type=>"list" key=>"logstash:redis" } } output{ stdout{} elasticsearch{ host=>"127.0.0.1" port=>9200 cluster=>"elasticsearch" codec=>"json" protocol=>"http" } }
该文件说明是以redis为输入,输出到elasticsearch程序,格式为json协议为http.
注意:logstash每启动一次就会生成一个sincedb_path,防止重复导入数据,测试环境下删除ssincedb_path文件,logstash即可重新执行。
再次重复启动时打印 No sincedb_path set, generating one based on the file path
启动logstash程序如图:
#logstash agent --verbose -f conf/central.conf –log logs/stdout.log
Kibana程序现在是4版本了,自带web,端口为5601:
#cd kibana/bin
#./kibana程序即可。
现在可以打开 kibana的页面了。
服务器安装完成了,现在要在客户端收集日志
#tar –xvzf logstash-1.5.4.tar.gz
#cd logstash/bin目录
同样需要#mkdir conf logs存放配置文件和日志文件。
Gedit logstash_agent.conf
input{ file { type=>"nginx_access" path => "/root/elk/logstash-1.5.4/bin/data/001/*.txt" start_position => "beginning" sincedb_path => "/root/sincedb/info.txt" } } output{ stdout { codec => rubydebug } redis{ host=>"127.0.0.1" port=>6379 data_type=>"list" key=>"logstash:redis" } }
启动该logstash程序即可。
#logstash --verbose –f /usr/local/logstash/etc/logstash_agent.conf
这样就把日志传给了日志服务器了。
打开http://127.0.0.1:5601。就是打开kibana页面。
配置一下:
就可以看到日志以传送过来。如图:
附上最简单的logstash conf
input { stdin { } } output { elasticsearch { host => localhost } stdout { codec => rubydebug } }
相关文章推荐
- Redis 配置参数说明
- Redis安装教程图解
- Redis 集合操作
- Redis sort with Jedis
- Redis脚本
- centos6.5安装redis3.0.5问题
- redis.conf配置详细解析
- Redis List操作
- Linux下一个Redis启动/关闭/重新启动服务脚本
- redis(二)--命令
- Redis学习笔记
- Redis Java连接使用
- redis(一)--概述
- Redis Sentinel服务配置
- 项目分布式部署那些事(1):ONS消息队列、基于Redis的Session共享,开源共享
- Redis节点配置
- Redis集群配置
- php多进程单例模式下的 MySQL及Redis连接错误修复
- CentOS安装Redis记录
- phpredis:php一个key-value扩展