您的位置:首页 > 其它

ELK 日志分析系统

2017-10-01 18:26 288 查看
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://467754239.blog.51cto.com/4878013/1700828大纲:一、简介二、Logstash三、Redis四、Elasticsearch五、Kinaba一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成;Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。2、四大组件Logstash:
logstash server端用来搜集日志;Elasticsearch:
存储各类日志;Kibana:
web化接口用作查寻和可视化日志;Logstash Forwarder:
logstash client端用来通过lumberjack 网络协议发送日志到logstash server;3、ELK工作流程在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到Redis,然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

4、ELK的帮助手册ELK官网:https://www.elastic.co/ELK官网文档:https://www.elastic.co/guide/index.htmlELK中文手册:http://kibana.logstash.es/content/elasticsearch/monitor/logging.html注释ELK有两种安装方式(1)集成环境:Logstash有一个集成包,里面包括了其全套的三个组件;也就是安装一个集成包。(2)独立环境:三个组件分别单独安装、运行、各司其职。(比较常用)本实验也以第二种方式独立环境来进行演示;单机版主机地址为:192.168.1.104二、Logstash1、安装jdk
2、安装logstash
3、logstash常用参数
4、启动logstash4.1 通过-e参数指定logstash的配置信息,用于快速测试,直接输出到屏幕。
4.2 通过-e参数指定logstash的配置信息,用于快速测试,以json格式输出到屏幕。
5、logstash以配置文件方式启动5.1 输出信息到屏幕
5.2 logstash输出信息存储到redis数据库中刚才我们是将信息直接显示在屏幕上了,现在我们将logstash的输出信息保存到redis数据库中,如下
6、 查看logstash的监听端口号
三、Redis1、安装Redis
2、查看redis的监控端口
3、测试redis是否正常工作
4、redis服务启动命令
5、redis的动态监控
6、logstash结合redis工作6.1 首先确认redis服务是启动的
6.2 启动redis动态监控
6.3 基于入口redis启动logstash
6.4 查看redis的监控接口上的输出
四、Elasticsearch1、安装Elasticsearch
2、修改elasticsearch配置文件elasticsearch.yml并且做以下修改.
3、启动elasticsearch服务
4、查看elasticsearch的监听端口
5、elasticsearch和logstash结合
6、基于配置文件启动logstash
7、curl命令发送请求来查看elasticsearch是否接收到了数据
8、安装elasticsearch插件
9、浏览器访问kopf页面访问elasticsearch保存的数据


10、从redis数据库中读取然后输出到elasticsearch中
五、Kinaba1、安装Kinaba
2、修改kinaba配置文件kinaba.yml
3、启动kinaba
4、浏览器访问kinaba4.1 使用默认的logstash-*的索引名称,并且是基于时间的,点击“Create”即可。

4.2 看到如下界面说明索引创建完成。

4.3 点击“Discover”,可以搜索和浏览Elasticsearch中的数据。

>>>结束<<<
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: