在微服务化盛行的今天h5斗牛棋牌平台搭建,日志的收集、分析越来越重要
2018-03-01 13:56
531 查看
ASP.NET Core 提供了一个统一的,h5斗牛棋牌平台搭建 官网:h5.super-mans.com 企娥:2012035031 vx和tel:17061863513 h5斗牛棋牌平台搭建轻量级的Logining系统,并可以很方便的与第三方日志框架集成。我们也可以根据不同的场景进行扩展,因为ASP.NET Core Logining系统设计的非常灵活性,我们可以很容易的添加自己的LogProvider。本文就来介绍一下如何借助于 ELKstack 来实现在分布式环境下的集中式日志处理。
![](https://raw.githubusercontent.com/RainingNight/zero-logging/dev/src/Zero.Logging.Elasticsearch/img/kibana_empty.png)
如上,部署成功,不过还没有任何数据。
![](https://raw.githubusercontent.com/RainingNight/zero-logging/dev/src/Zero.Logging.Elasticsearch/img/kibana_initdata.png)
在Index pattern中输入
![](https://raw.githubusercontent.com/RainingNight/zero-logging/dev/src/Zero.Logging.Elasticsearch/img/kibana_index.png)
如上,选择
![](https://raw.githubusercontent.com/RainingNight/zero-logging/dev/src/Zero.Logging.Elasticsearch/img/kinaba_discover.png)
使用Docker部署Elasticsearch和Kibana
ELKstack是Elasticsearch、Logstash、Kibana三个开源软件的组合,是当今最为流行的统一日志分析平台。对于它们的介绍,网上非常之多,这里就不再多说。在本文中只使用了Elasticsearch和
Kibana,前者是分布式搜索系统,后者是一个可视化平台,使用docker来部署非常简单:
部署Elasticsearch
如下,绑定端口9200,并将容器命名为
elasticsearch:
docker run --name=elasticsearch -d -p 9200:9200 -e "http.host=0.0.0.0" -e "transport.host=127.0.0.1" docker.elastic.co/elasticsearch/elasticsearch:6.2.2然后在浏览器中打开 http://localhost:9200/,输出如下:
{ "name": "qFQvLqr", "cluster_name": "docker-cluster", "cluster_uuid": "bdc5YhZlQHu0mCN7acNKBw", "version": { "number": "6.2.2", "build_hash": "10b1edd", "build_date": "2018-02-16T21:01:30.685723Z", "build_snapshot": false, "lucene_version": "7.2.1", 4000 "minimum_wire_compatibility_version": "5.6.0", "minimum_index_compatibility_version": "5.0.0" }, "tagline": "You Know, for Search" }
部署Kibana
Kibana的部署依赖于Elasticsearch:docker run --name=kibana --link=elasticsearch -d -p 5601:5601 docker.elastic.co/kibana/kibana:6.2.2主要注意的是,在这里使用了
--link=elasticsearch来链接到elasticsearch容器,如果要使用外部的elasticsearch服务,可以使用
-e "elasticsearch.url=http://changeme:9200"来指定。然后在浏览器中打开 http://localhost:5601/:
![](https://raw.githubusercontent.com/RainingNight/zero-logging/dev/src/Zero.Logging.Elasticsearch/img/kibana_empty.png)
如上,部署成功,不过还没有任何数据。
使用docker-compose部署
当需要部署多个相关的服务时,更加推荐使用docker-compose来部署:首先,我们创建一个docker-compose.yml文件:
version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:${TAG} container_name: elasticsearch environment: - http.host=0.0.0.0 - transport.host=127.0.0.1 - ELASTICSEARCH_PASSWORD=${ELASTIC_PASSWORD} ports: - 9200:9200 networks: - stack kibana: image: docker.elastic.co/kibana/kibana:${TAG} container_name: kibana environment: - ELASTICSEARCH_USERNAME=kibana - ELASTICSEARCH_PASSWORD=${ELASTIC_PASSWORD} ports: - 5601:5601 networks: - stack depends_on: - elasticsearch networks: stack: driver: bridge如上,我们定义了
TAG和
ELASTIC_PASSWORD两个环境变量,方便在部署时候灵活的指定版本号和密码。为方便测试部署,我们可以定义一个默认的环境变量文件
.env:
TAG=6.2.2 ELASTIC_PASSWORD=Qwer1234然后,直接运行如下命令即可:
docker-compose up接下来,将日志写入到Elasticsearch。
记录日志到Elasticsearch
我们创建一个 ASP.NET Core WebApi 项目,添加如下Package:dotnet add package Zero.Logging.Elasticsearch --version 1.0.0-alpha3-20180228
添加ElasticsearchProvider
然后在Program.cs文件中使用
AddElasticsearch扩展方法为日志系统添加
ElasticsearchPr c6ac ovider:
public static IWebHost BuildWebHost(string[] args) => WebHost.CreateDefaultBuilder(args) .ConfigureLogging((hostingContext, logging) => { logging.AddElasticsearch(); }) .UseStartup<Startup>() .Build();
记录日志
对于日志的记录则不需要任何的修改:public class ValuesController : Controller { private readonly ILogger _logger; public ValuesController(ILogger<ValuesController> logger) { _logger = logger; } [HttpGet] public void Get() { _logger.LogTrace("Log Trace."); _logger.LogInformation("Log Information."); _logger.LogDebug("Log Debug."); try { throw new Exception("Boom"); } catch (Exception ex) { _logger.LogCritical(1, ex, "Unexpected critical error starting application"); _logger.LogError(1, ex, "Unexpected error"); _logger.LogWarning(1, ex, "Unexpected warning"); } } }
在Kibana查看
刷新浏览器,显示如下:![](https://raw.githubusercontent.com/RainingNight/zero-logging/dev/src/Zero.Logging.Elasticsearch/img/kibana_initdata.png)
在Index pattern中输入
logstash-*,点击下一步:
![](https://raw.githubusercontent.com/RainingNight/zero-logging/dev/src/Zero.Logging.Elasticsearch/img/kibana_index.png)
如上,选择
timestamp,创建索引,最终显示如下:
![](https://raw.githubusercontent.com/RainingNight/zero-logging/dev/src/Zero.Logging.Elasticsearch/img/kinaba_discover.png)
配置
如上,一行代码,零配置完成了Elasticsearch的写入,默认使用的Elasticsearch地址为http://localhost:9200,如果我们需要额外的配置也很简单,有如下两种方式:
使用配置文件进行配置
在appsettings.json中添加如下配置(Elasticsearch节点):
{ "Logging": { "IncludeScopes": false, "Console": { "LogLevel": { "Default": "Warning" } }, "Elasticsearch": { "LogLevel": { "Default": "Information" }, "ElasticsearchUrl": "http://changeme:9200", "AutoRegisterTemplate": true } } }
使用代码进行配置
WebHost.CreateDefaultBuilder(args) .ConfigureLogging((hostingContext, logging) => { logging.AddFile().AddElasticsearch(o => { o.PipelineName = "http://changeme:9200"; o.AutoRegisterTemplate = true; }); })需要注意,如果使用代码的方式进行配置,则配置文件中的配置不再生效。更多的配置信息参见 EsLoggerOptions。
总结
由于Log4Net, Nlog, Serilog 等流行的日志框架的侵入性太强,故通过对各种开源框架的借鉴,完全基于微软的 Logging 设计思想开发了 zero-logging 框架,现在功能还较为简陋,计划下一步实现结构化日志分析,欢迎交流学习。相关文章推荐
- ELK日志收集存储分析-----logstash+elasticsearch+kibana快速搭建日志平台
- 结合Docker快速搭建ELK日志收集分析平台
- ELK6.2.2(elasticsearch+logstash+kibana)开源日志分析平台搭建(三):logstash简单收集
- ELK服务搭建(开源实时日志分析ELK平台部署)(低版本—简单部署)
- 一个利用Tensorflow求解h5棋牌斗牛开发房卡搭建平台问题的例子
- 在Kubernetes上搭建日志收集、分析、展示平台ELK(Logstash+Elasticsearch+Kibana)
- CentOS7使用Elasticsearch+ Logstash+kibana快速搭建日志分析平台
- ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
- ELK+redis搭建日志分析平台
- 用ELK搭建简单的日志收集分析系统【转】
- ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
- ELK(ElasticSearch, Logstash, Kibana)+ SuperVisor + Springboot + Logback 搭建实时日志分析平台
- ELK5.0日志收集平台搭建指南
- 百晓生带你玩转linux系统服务搭建系列----AWStats日志分析系统的部署
- 【转】flume+kafka+zookeeper 日志收集平台的搭建
- 开源日志分析系统ELK平台搭建部署
- CentOS7使用Elasticsearch+ Logstash+kibana快速搭建日志分析平台
- ELK 日志分析平台搭建
- Centos7下使用ELK(Elasticsearch + Logstash + Kibana)搭建日志集中分析平台