.net core日志結(jié)構(gòu)化

更新時(shí)間：2021年06月17日 11:06:38 作者：不問(wèn)前世

如果我們的日志結(jié)構(gòu)化了，那么可以使用elasticsearch 這樣的框架進(jìn)行二次整理，再借助一些分析工具。我們就能做到可視化分析系統(tǒng)的運(yùn)行情況，做到日志告警、上下文關(guān)聯(lián)、實(shí)現(xiàn)追蹤系統(tǒng)集成，同樣也易于檢索相關(guān)信息。本文講解的結(jié)構(gòu)化，借助需要借助serilog工具

前言

什么是結(jié)構(gòu)化呢？結(jié)構(gòu)化，就是將原本沒(méi)有規(guī)律的東西進(jìn)行有規(guī)律話(huà)。

就比如我們學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)，需要學(xué)習(xí)排序然后又要學(xué)習(xí)查詢(xún)，說(shuō)白了這就是一套，沒(méi)有排序，談如何查詢(xún)是沒(méi)有意義的，因?yàn)椴樵?xún)算法就是根據(jù)某種規(guī)律得到最佳的效果。

同樣日志結(jié)構(gòu)話(huà)，能夠讓我們得到一些好處。如果說(shuō)容易檢索，容易分析，總的來(lái)說(shuō)就是讓我們的日志更加有規(guī)律。

如果我們的日志結(jié)構(gòu)化了，那么可以使用elasticsearch 這樣的框架進(jìn)行二次整理，再借助一些分析工具。

我們就能做到可視化分析系統(tǒng)的運(yùn)行情況，做到日志告警、上下文關(guān)聯(lián)、實(shí)現(xiàn)追蹤系統(tǒng)集成，同樣也易于檢索相關(guān)信息。

說(shuō)了這么多，其實(shí)對(duì)于程序員，就是為了節(jié)約排查錯(cuò)誤的時(shí)間，然后在做系統(tǒng)穩(wěn)定化方案的時(shí)候有依據(jù)，我們是講道理的，做事要有依據(jù)，不能張口就來(lái)。

正文

這里結(jié)構(gòu)化，借助需要借助serilog,引用serilog.aspnetcore。

開(kāi)源地址如下:

https://github.com/serilog/serilog-aspnetcore

這里介紹一下簡(jiǎn)單的接入方式:

在CreateHostBuilder 中加入U(xiǎn)seSerilog:

public static IHostBuilder CreateHostBuilder(string[] args) =>
	Host.CreateDefaultBuilder(args)
		.ConfigureWebHostDefaults(webBuilder =>
		{
			webBuilder.UseStartup<Startup>();
		}).UseSerilog(dispose:true);

然后在Startup的ConfigureServices的加入:

services.AddLogSeriLog(Configuration);

這個(gè)AddLogSeriLog 是我寫(xiě)的擴(kuò)展:

public static class SeriLogExtension
{
    public static Serilog.ILogger AddLogSeriLog(this IServiceCollection services, IConfiguration configuration)
    {
        Log.Logger = new LoggerConfiguration().ReadFrom.Configuration(configuration)
            .MinimumLevel.Debug()
            .Enrich.FromLogContext()
            .WriteTo.Console(new RenderedCompactJsonFormatter())
            .WriteTo.File(formatter: new CompactJsonFormatter(), "logs\\test.txt", rollingInterval: RollingInterval.Day)
            .CreateLogger();
        return Log.Logger;
    }
}

輸出:

這時(shí)候發(fā)現(xiàn)我們的輸出都json化了。

同時(shí)在根目錄下的logs目錄下輸出日志文件:

但是我們這樣發(fā)現(xiàn)，日志太多了，我們需要過(guò)濾掉一些日志,那么我們可以配置:

"Serilog": {
    "MinimumLevel": {
      "Default": "Information",
      "Override": {
        "Microsoft": "Error",
        "System": "Information" 
      }
    }
  }

測(cè)試代碼:

[HttpGet]
public int GetService([FromServices]ISelfService selfService)
{
	_logger.LogInformation("Hello Word");
	return 1;
}

結(jié)果:

因?yàn)樯厦媾渲昧薓icrosoft 為Error級(jí)別的，故而系統(tǒng)打印的日志只有Error基本才會(huì)輸出。

這里面簡(jiǎn)單看一下Serilog 的原理,

因?yàn)?a target="_blank" href="http://www.dhdzp.com/article/215119.htm">//www.dhdzp.com/article/215119.htm已經(jīng)介紹了日志系統(tǒng)的基本結(jié)果，故而直接往下續(xù):

查看UseSerilog:

public static IHostBuilder UseSerilog(
  this IHostBuilder builder,
  ILogger logger = null,
  bool dispose = false,
  LoggerProviderCollection providers = null)
{
  if (builder == null)
	throw new ArgumentNullException(nameof (builder));
  builder.ConfigureServices((Action<HostBuilderContext, IServiceCollection>) ((_, collection) =>
  {
	if (providers != null)
	  ServiceCollectionServiceExtensions.AddSingleton<ILoggerFactory>(collection, (Func<IServiceProvider, M0>) (services =>
	  {
		SerilogLoggerFactory serilogLoggerFactory = new SerilogLoggerFactory(logger, dispose, providers);
		foreach (ILoggerProvider service in (IEnumerable<ILoggerProvider>) ServiceProviderServiceExtensions.GetServices<ILoggerProvider>(services))
		  serilogLoggerFactory.AddProvider(service);
		return (ILoggerFactory) serilogLoggerFactory;
	  }));
	else
	  ServiceCollectionServiceExtensions.AddSingleton<ILoggerFactory>(collection, (Func<IServiceProvider, M0>) (services => (ILoggerFactory) new SerilogLoggerFactory(logger, dispose, (LoggerProviderCollection) null)));
	SerilogHostBuilderExtensions.ConfigureServices(collection, logger);
  }));
  return builder;
}

這里我簡(jiǎn)單梳理一下日志系統(tǒng)的基本結(jié)構(gòu)，首選是ILoggerFactory, 里面會(huì)有一個(gè)CreateLogger，創(chuàng)建一個(gè)ILogger。那么這個(gè)ILogger的作用是什么呢？

是用來(lái)統(tǒng)一接口的。比如說(shuō)我們有文件日志，有控制臺(tái)日志，有很多方式輸出日志。那么就要有一個(gè)管理的來(lái)統(tǒng)一接口。

而每一種打印方式，繼承ILoggerProvider，比如ConsoleProvider繼承ILoggerProvider有一個(gè)CreateLogger方法,這個(gè)CreateLog才是創(chuàng)建具體的實(shí)現(xiàn)類(lèi)，比如說(shuō)ConsoleLogger，ConsoleLogger又繼承ILogger。

從而ILogger的另一個(gè)實(shí)現(xiàn)類(lèi)Logger實(shí)現(xiàn)代理，管理其他繼承ILogger的實(shí)現(xiàn)類(lèi)。

可能我這樣說(shuō)有點(diǎn)模糊，那么請(qǐng)看完上面鏈接，應(yīng)該就會(huì)明白我所以表達(dá)的意思。

那么回到上文中。

ServiceCollectionServiceExtensions.AddSingleton(collection, (Func<IServiceProvider, M0>) (services => (ILoggerFactory) new SerilogLoggerFactory(logger, dispose, (LoggerProviderCollection)

將我們的ILoggerFactory 替換成了SerilogLoggerFactory，官方是LoggerFactory。

那么看下SerilogLoggerFactory:

public SerilogLoggerFactory(
  Serilog.ILogger logger = null,
  bool dispose = false,
  LoggerProviderCollection providerCollection = null)
{
  this._provider = new SerilogLoggerProvider(logger, dispose);
  this._providerCollection = providerCollection;
}

/// <summary>Disposes the provider.</summary>
public void Dispose()
{
  this._provider.Dispose();
}

/// <summary>
/// Creates a new <see cref="T:Microsoft.Extensions.Logging.ILogger" /> instance.
/// </summary>
/// <param name="categoryName">The category name for messages produced by the logger.</param>
/// <returns>
/// The <see cref="T:Microsoft.Extensions.Logging.ILogger" />.
/// </returns>
public Microsoft.Extensions.Logging.ILogger CreateLogger(string categoryName)
{
  return this._provider.CreateLogger(categoryName);
}

/// <summary>
/// Adds an <see cref="T:Microsoft.Extensions.Logging.ILoggerProvider" /> to the logging system.
/// </summary>
/// <param name="provider">The <see cref="T:Microsoft.Extensions.Logging.ILoggerProvider" />.</param>
public void AddProvider(ILoggerProvider provider)
{
  if (provider == null)
	throw new ArgumentNullException(nameof (provider));
  if (this._providerCollection != null)
	this._providerCollection.AddProvider(provider);
  else
	SelfLog.WriteLine("Ignoring added logger provider {0}", (object) provider, (object) null, (object) null);
}
}

那么繼續(xù)查看CreateLogger,SerilogLoggerProvider的CreateLogger 及其相關(guān)：

private readonly Serilog.ILogger _logger;
public SerilogLoggerProvider(Serilog.ILogger logger = null, bool dispose = false)
{
   if (logger != null)
	this._logger = logger.ForContext((IEnumerable<ILogEventEnricher>) new SerilogLoggerProvider[1]
	{
	  this
	});
  if (!dispose)
	return;
  if (logger != null)
	this._dispose = (Action) (() =>
	{
	  if (!(logger is IDisposable disposable))
		return;
	  disposable.Dispose();
	});
  else
	this._dispose = new Action(Log.CloseAndFlush);
}
public Microsoft.Extensions.Logging.ILogger CreateLogger(string name)
{
  return (Microsoft.Extensions.Logging.ILogger) new SerilogLogger(this, this._logger, name);
}

而SerilogLogger 就是具體來(lái)管理全部繼承ILogger具體的實(shí)現(xiàn)的類(lèi)。那么是否是和官方一樣，其他實(shí)現(xiàn)類(lèi)都是繼承自ILogger的呢？答案不是，他們都繼承自ILogEventSink，下面會(huì)繼續(xù)提及，暫時(shí)不要關(guān)心這個(gè)。

同時(shí)要忘記官方每個(gè)實(shí)現(xiàn)具體打印的類(lèi)繼承ILogger，它的設(shè)計(jì)思想還是一樣的，只是換了一個(gè)繼承接口。

SerilogLogger 里面繼承Microsoft.Extensions.Logging.ILogger，實(shí)現(xiàn)具體的打印的。

看下SerilogLogger 的具體的部分，主要看log方法，因?yàn)檫@個(gè)實(shí)現(xiàn)打印的,這下面不用看太多，只需要看到其實(shí)里面是調(diào)用_logger的方法就行。

internal class SerilogLogger : Microsoft.Extensions.Logging.ILogger
  {
    private static readonly MessageTemplateParser MessageTemplateParser = new MessageTemplateParser();
    private static readonly LogEventProperty[] LowEventIdValues = Enumerable.Range(0, 48).Select<int, LogEventProperty>((Func<int, LogEventProperty>) (n => new LogEventProperty("Id", (LogEventPropertyValue) new ScalarValue((object) n)))).ToArray<LogEventProperty>();
    private readonly SerilogLoggerProvider _provider;
    private readonly Serilog.ILogger _logger;

    public SerilogLogger(SerilogLoggerProvider provider, Serilog.ILogger logger = null, string name = null)
    {
      SerilogLoggerProvider serilogLoggerProvider = provider;
      if (serilogLoggerProvider == null)
        throw new ArgumentNullException(nameof (provider));
      this._provider = serilogLoggerProvider;
      this._logger = logger;
      Serilog.ILogger logger1 = this._logger;
      if (logger1 == null)
        logger1 = Serilog.Log.Logger.ForContext((IEnumerable<ILogEventEnricher>) new SerilogLoggerProvider[1]
        {
          provider
        });
      this._logger = logger1;
      if (name == null)
        return;
      this._logger = this._logger.ForContext("SourceContext", (object) name, false);
    }

    public bool IsEnabled(LogLevel logLevel)
    {
      return this._logger.IsEnabled(LevelConvert.ToSerilogLevel(logLevel));
    }

    public IDisposable BeginScope<TState>(TState state)
    {
      return this._provider.BeginScope<TState>(state);
    }

    public void Log<TState>(
      LogLevel logLevel,
      EventId eventId,
      TState state,
      Exception exception,
      Func<TState, Exception, string> formatter)
    {
      LogEventLevel serilogLevel = LevelConvert.ToSerilogLevel(logLevel);
      if (!this._logger.IsEnabled(serilogLevel))
        return;
      Serilog.ILogger logger = this._logger;
      string str1 = (string) null;
      List<LogEventProperty> logEventPropertyList = new List<LogEventProperty>();
      if (state is IEnumerable<KeyValuePair<string, object>> keyValuePairs)
      {
        foreach (KeyValuePair<string, object> keyValuePair in keyValuePairs)
        {
          if (keyValuePair.Key == "{OriginalFormat}" && keyValuePair.Value is string str2)
            str1 = str2;
          else if (keyValuePair.Key.StartsWith("@"))
          {
            LogEventProperty property;
            if (logger.BindProperty(keyValuePair.Key.Substring(1), keyValuePair.Value, true, out property))
              logEventPropertyList.Add(property);
          }
          else
          {
            LogEventProperty property;
            if (logger.BindProperty(keyValuePair.Key, keyValuePair.Value, false, out property))
              logEventPropertyList.Add(property);
          }
        }
        Type type = state.GetType();
        TypeInfo typeInfo = type.GetTypeInfo();
        if (str1 == null && !typeInfo.IsGenericType)
        {
          str1 = "{" + type.Name + ":l}";
          LogEventProperty property;
          if (logger.BindProperty(type.Name, SerilogLogger.AsLoggableValue<TState>(state, formatter), false, out property))
            logEventPropertyList.Add(property);
        }
      }
      if (str1 == null)
      {
        string propertyName = (string) null;
        if ((object) state != null)
        {
          propertyName = "State";
          str1 = "{State:l}";
        }
        else if (formatter != null)
        {
          propertyName = "Message";
          str1 = "{Message:l}";
        }
        LogEventProperty property;
        if (propertyName != null && logger.BindProperty(propertyName, SerilogLogger.AsLoggableValue<TState>(state, formatter), false, out property))
          logEventPropertyList.Add(property);
      }
      if (eventId.Id != 0 || eventId.Name != null)
        logEventPropertyList.Add(SerilogLogger.CreateEventIdProperty(eventId));
      MessageTemplate messageTemplate = SerilogLogger.MessageTemplateParser.Parse(str1 ?? "");
      LogEvent logEvent = new LogEvent(DateTimeOffset.Now, serilogLevel, exception, messageTemplate, (IEnumerable<LogEventProperty>) logEventPropertyList);
      logger.Write(logEvent);
    }
}

那么SerilogLogger 的_logger 到底是什么呢？我們可以看到其實(shí)這個(gè)_logger 是SerilogLoggerFactory到SerilogLoggerProvider到SerilogLogger一層一層傳進(jìn)去的,最后調(diào)用ForContext生成，上面可以看到具體各個(gè)的實(shí)例化函數(shù)。

如果我們不傳的話(huà)，那么會(huì)默認(rèn)使用 Serilog.Log.Logger,在SerilogLogger的實(shí)例化函數(shù)中這樣寫(xiě)道:

Serilog.ILogger logger1 = this._logger;
  if (logger1 == null)
	logger1 = Serilog.Log.Logger.ForContext((IEnumerable<ILogEventEnricher>) new SerilogLoggerProvider[1]
	{
	  provider
	});
  this._logger = logger1;

而在UseSerilog中l(wèi)ogger參數(shù)的參數(shù)介紹中也寫(xiě)道: The Serilog logger; if not supplied, the static will be used.

之所以重點(diǎn)談?wù)撨@個(gè)_logger 這個(gè)數(shù)據(jù)，是為了引出Serilog.Log.Logger這個(gè)東西，是不是感覺(jué)特別眼熟？我們?cè)赟tartup的ConfigureServices中寫(xiě)道:

services.AddLogSeriLog(Configuration);

AddLogSeriLog 為:

public static Serilog.ILogger AddLogSeriLog(this IServiceCollection services, IConfiguration configuration)
{
	Log.Logger = new LoggerConfiguration().ReadFrom.Configuration(configuration)
		.MinimumLevel.Debug()
		.Enrich.FromLogContext()
		.WriteTo.Console(new RenderedCompactJsonFormatter())
		.WriteTo.File(formatter: new CompactJsonFormatter(), "logs\\test.txt", rollingInterval: RollingInterval.Day)
		.CreateLogger();
	return Log.Logger;
}

這里我們就生成了具體打印實(shí)現(xiàn)類(lèi)的管理類(lèi)，是代理模式哈。大體就是各個(gè)不同的實(shí)現(xiàn)類(lèi)繼承ILogEventSink，然后SafeAggregateSink也繼承自ILogEventSink，SafeAggregateSink里面有個(gè)屬性readonly ILogEventSink[] _sinks，然后調(diào)用Serilog的 Logger

類(lèi)調(diào)用write方法會(huì)調(diào)用SafeAggregateSink的Emit。

SafeAggregateSink類(lèi)如下，主要看下Emit方法:

class SafeAggregateSink : ILogEventSink
{
	readonly ILogEventSink[] _sinks;

	public SafeAggregateSink(IEnumerable<ILogEventSink> sinks)
	{
		if (sinks == null) throw new ArgumentNullException(nameof(sinks));
		_sinks = sinks.ToArray();
	}

	public void Emit(LogEvent logEvent)
	{
		foreach (var sink in _sinks)
		{
			try
			{
                                // 調(diào)用不同的Log打印的實(shí)現(xiàn)類(lèi) 如文件、控制臺(tái) 等
				sink.Emit(logEvent);
			}
			catch (Exception ex)
			{
				SelfLog.WriteLine("Caught exception while emitting to sink {0}: {1}", sink, ex);
			}
		}
	}
}

具體就不細(xì)寫(xiě)了，里面都是一些格式匹配的，根據(jù)我們上面的分析，其實(shí)我們應(yīng)該知道先看CreateLogger這個(gè)函數(shù)哈,然后去看Console這個(gè)函數(shù)。如對(duì)格式化感興趣可

以去看下哈，里面又套了一層代理模式的娃。

以上就是.net core日志結(jié)構(gòu)化相關(guān)總結(jié)的詳細(xì)內(nèi)容，更多關(guān)于.net core日志結(jié)構(gòu)化的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: