ZKWeb网站框架的动态编译的实现原理

ZKWeb网站框架是一个自主开发的网页框架，实现了动态插件和自动编译功能。
ZKWeb把一个文件夹当成是一个插件，无需使用csproj或xproj等形式的项目文件管理，并且支持修改插件代码后自动重新编译加载。
下面将说明ZKWeb如何实现这个功能，您也可以参考下面的代码和流程在自己的项目中实现。
ZKWeb的开源协议是MIT，有需要的代码可以直接搬，不需要担心协议问题。

实现动态编译依赖的主要技术

编译: Roslyn Compiler
Roslyn是微软提供的开源的c# 6.0编译工具，可以通过Roslyn来支持自宿主编译功能。
要使用Roslyn可以安装nuget包

Microsoft.CodeAnalysis.CSharp

。
微软还提供了更简单的

Microsoft.CodeAnalysis.CSharp.Scripting

包，这个包只需简单几行就能实现c#的动态脚本。
加载dll: System.Runtime.Loader
在.Net Framework中动态加载一个dll程序集可以使用

Assembly.LoadFile

，但是在.Net Core中这个函数被移除了。
微软为.Net Core提供了一套全新的程序集管理机制，要求使用

AssemblyLoadContext

来加载程序集。
遗憾的是我还没有找到微软官方关于这方面的说明。
生成pdb: Microsoft.DiaSymReader.Native, Microsoft.DiaSymReader.PortablePdb
为了支持调试编译出来的程序集，还需要生成pdb调试文件。
在.Net Core中，Roslyn并不包含生成pdb的功能，还需要安装

Microsoft.DiaSymReader.Native

和

Microsoft.DiaSymReader.PortablePdb

才能支持生成pdb文件。
安装了这个包以后Roslyn会自动识别并使用。

实现动态编译插件系统的流程

在ZKWeb框架中，插件是一个文件夹，网站的配置文件中的插件列表就是文件夹的列表。
在网站启动时，会查找每个文件夹下的

*.cs

文件对比文件列表和修改时间是否与上次编译的不同，如果不同则重新编译该文件夹下的代码。
网站启动后，会监视

*.cs

和

*.dll

文件是否有变化，如果有变化则重新启动网站以重新编译。
ZKWeb的插件文件夹结构如下
插件文件夹
net: .Net Framework编译的程序集

netstandard: .Net Core编译的程序集

插件名称.dll: 编译出来的程序集

插件名称.pdb: 调试文件

CompileInfo.txt: 储存了文件列表和修改时间

同net文件夹下的内容

bin：程序集文件夹

src 源代码文件夹

static 静态文件的文件夹

其他文件夹……

通过Roslyn编译代码文件到程序集dll

在网站启动时，插件管理器在得到插件文件夹列表后会使用

Directory.EnumerateFiles

递归查找该文件夹下的所有

*.cs

文件。
在得到这些代码文件路径后，我们就可以传给Roslyn让它编译出dll程序集。
ZKWeb调用Roslyn编译的完整代码可以查看这里，下面说明编译的流程：
首先调用

CSharpSyntaxTree.ParseText

来解析代码列表到语法树列表，我们可以从源代码列表得出

List<SyntaxTree>

。

parseOptions

是解析选项，ZKWeb会在.Net Core编译时定义

NETCORE

标记，这样插件代码中可以使用

#if NETCORE

来定义.Net Core专用的处理。

path

是文件路径，必须传入文件路径才能调试生成出来的程序集，否则即使生成了pdb也不能捕捉断点。

// Parse source files into syntax trees// Also define NETCORE for .Net Corevar parseOptions = CSharpParseOptions.Default;#if NETCOREparseOptions = parseOptions.WithPreprocessorSymbols("NETCORE");#endifvar syntaxTrees = sourceFiles
   .Select(path => CSharpSyntaxTree.ParseText(
       File.ReadAllText(path), parseOptions, path, Encoding.UTF8))
.ToList();

接下来需要分析代码中的

using

来找出代码依赖了哪些程序集，并逐一载入这些程序集。
例如遇到

using System.Threading;

会尝试载入

System

和

System.Threading

程序集。

// Find all using directive and load the namespace as assembly// It's for resolve assembly dependencies of pluginLoadAssembliesFromUsings(syntaxTrees);

LoadAssembliesFromUsings

的代码如下，虽然比较长但是逻辑并不复杂。
关于

IAssemblyLoader

将在后面阐述，这里只需要知道它可以按名称载入程序集。

/// <summary>/// Find all using directive/// And try to load the namespace as assembly/// </summary>/// <param name="syntaxTrees">Syntax trees</param>protected void LoadAssembliesFromUsings(IList<SyntaxTree> syntaxTrees) {    // Find all using directive
   var assemblyLoader = Application.Ioc.Resolve<IAssemblyLoader>();    foreach (var tree in syntaxTrees) {        foreach (var usingSyntax in ((CompilationUnitSyntax)tree.GetRoot()).Usings) {            var name = usingSyntax.Name;            var names = new List<string>();            while (name != null) {                // The type is "IdentifierNameSyntax" if it's single identifier
               // eg: System
               // The type is "QualifiedNameSyntax" if it's contains more than one identifier
               // eg: System.Threading
               if (name is QualifiedNameSyntax) {                    var qualifiedName = (QualifiedNameSyntax)name;                    var identifierName = (IdentifierNameSyntax)qualifiedName.Right;
                   names.Add(identifierName.Identifier.Text);
                   name = qualifiedName.Left;
               } else if (name is IdentifierNameSyntax) {                    var identifierName = (IdentifierNameSyntax)name;
                   names.Add(identifierName.Identifier.Text);
                   name = null;
               }
           }            if (names.Contains("src")) {                // Ignore if it looks like a namespace from plugin
               continue;
           }
           names.Reverse();            for (int c = 1; c <= names.Count; ++c) {                // Try to load the namespace as assembly
               // eg: will try "System" and "System.Threading" from "System.Threading"
               var usingName = string.Join(".", names.Take(c));                if (LoadedNamespaces.Contains(usingName)) {                    continue;
               }                try {
                   assemblyLoader.Load(usingName);
               } catch {
               }
               LoadedNamespaces.Add(usingName);
           }
       }
   }
}

经过上面这一步后，代码依赖的所有程序集应该都载入到当前进程中了，
我们需要找出这些程序集并且传给Roslyn，在编译代码时引用这些程序集文件。
下面的代码生成了一个

List<PortableExecutableReference>

对象。

// Add loaded assemblies to compile referencesvar assemblyLoader = Application.Ioc.Resolve<IAssemblyLoader>();var references = assemblyLoader.GetLoadedAssemblies()
   .Select(assembly => assembly.Location)
   .Select(path => MetadataReference.CreateFromFile(path))
   .ToList();

最后调用Roslyn编译，传入语法树列表和引用程序集列表可以得到目标程序集。
使用

Emit

函数编译后会返回一个

EmitResult

对象，里面保存了编译中出现的错误和警告信息。
注意编译出错时

Emit

不会抛出例外，需要手动检查

EmitResult

中的

Success

属性。

// Compile to assembly, throw exception if error occurredvar compilation = CSharpCompilation.Create(assemblyName)
   .WithOptions(new CSharpCompilationOptions(
       OutputKind.DynamicallyLinkedLibrary,
       optimizationLevel: optimizationLevel))
   .AddReferences(references)
   .AddSyntaxTrees(syntaxTrees);var emitResult = compilation.Emit(assemblyPath, pdbPath);if (!emitResult.Success) {    throw new CompilationException(string.Join("\r\n", emitResult.Diagnostics));
}

到此已经完成了代码文件(cs)到程序集(dll)的编译，下面来看如何载入这个程序集。

载入程序集

在.Net Framework中，载入程序集文件非常简单，只需要调用

Assembly.LoadFile

。
在.Net Core中，载入程序集文件需要定义

AssemblyLoadContext

，并且所有相关的程序集都需要通过同一个

Context

来载入。
需要注意的是

AssemblyLoadContext

不能用在.Net Framework中，ZKWeb为了消除这个差异定义了

IAssemblyLoader

接口。
完整的代码可以查看
IAssemblyLoader
CoreAssemblyLoader
NetAssemblyLoader
.Net Framework的载入只是调用了

Assembly

中原来的函数，这里就不再说明了。
.Net Core使用的载入器定义了

AssemblyLoadContext

，代码如下：
代码中的

plugin.ReferenceAssemblyPath

指的是插件自带的第三方dll文件，用于载入插件依赖但是主项目中没有引用的dll文件。

/// <summary>/// The context for loading assembly/// </summary>private class LoadContext : AssemblyLoadContext {    protected override Assembly Load(AssemblyName assemblyName) {        try {            // Try load directly
           return Assembly.Load(assemblyName);
       } catch {            // If failed, try to load it from plugin's reference directory
           var pluginManager = Application.Ioc.Resolve<PluginManager>();            foreach (var plugin in pluginManager.Plugins) {                var path = plugin.ReferenceAssemblyPath(assemblyName.Name);                if (path != null) {                    return LoadFromAssemblyPath(path);
               }
           }            throw;
       }
   }
}

定义了

LoadContext

以后需要把这个类设为单例，载入时都通过这个

Context

来载入。
因为.Net Core目前无法获取到所有已载入的程序集，只能获取程序本身依赖的程序集列表，
这里还添加了一个

ISet<Assembly> LoadedAssemblies

用于记录历史载入的所有程序集。

/// <summary>/// Load assembly by name/// </summary>public Assembly Load(string name) {    // Replace name if replacement exists
   name = ReplacementAssemblies.GetOrDefault(name, name);    var assembly = Context.LoadFromAssemblyName(new AssemblyName(name));
   LoadedAssemblies.Add(assembly);    return assembly;
}/// <summary>/// Load assembly by name object/// </summary>public Assembly Load(AssemblyName assemblyName) {    var assembly = Context.LoadFromAssemblyName(assemblyName);
   LoadedAssemblies.Add(assembly);    return assembly;
}/// <summary>/// Load assembly from it's binary contents/// </summary>public Assembly Load(byte[] rawAssembly) {    using (var stream = new MemoryStream(rawAssembly)) {        var assembly = Context.LoadFromStream(stream);
       LoadedAssemblies.Add(assembly);        return assembly;
   }
}/// <summary>/// Load assembly from file path/// </summary>public Assembly LoadFile(string path) {    var assembly = Context.LoadFromAssemblyPath(path);
   LoadedAssemblies.Add(assembly);    return assembly;
}

到这里已经可以载入编译的程序集(dll)文件了，下面来看如何实现修改代码后自动重新编译。

检测代码文件变化并自动重新编译

ZKWeb使用了

FileSystemWatcher

来检测代码文件的变化，完整代码可以查看这里。
主要的代码如下

// Function use to stop websiteAction stopWebsite = () => {    var stoppers = Application.Ioc.ResolveMany<IWebsiteStopper>();
   stoppers.ForEach(s => s.StopWebsite());
};// Function use to handle file changedAction<string> onFileChanged = (path) => {    var ext = Path.GetExtension(path).ToLower();    if (ext == ".cs" || ext == ".json" || ext == ".dll") {
       stopWebsite();
   }
};// Function use to start file system watcherAction<FileSystemWatcher> startWatcher = (watcher) => {
   watcher.NotifyFilter = NotifyFilters.LastWrite | NotifyFilters.FileName;
   watcher.Changed += (sender, e) => onFileChanged(e.FullPath);
   watcher.Created += (sender, e) => onFileChanged(e.FullPath);
   watcher.Deleted += (sender, e) => onFileChanged(e.FullPath);
   watcher.Renamed += (sender, e) => { onFileChanged(e.FullPath); onFileChanged(e.OldFullPath); };
   watcher.EnableRaisingEvents = true;
};// Monitor plugin directoryvar pathManager = Application.Ioc.Resolve<PathManager>();
pathManager.GetPluginDirectories().Where(p => Directory.Exists(p)).ForEach(p => {    var pluginFilesWatcher = new FileSystemWatcher();
   pluginFilesWatcher.Path = p;
   pluginFilesWatcher.IncludeSubdirectories = true;
   startWatcher(pluginFilesWatcher);
});

这段代码监视了插件文件夹下的

cs, json, dll

文件，
一旦发生变化就调用

IWebsiteStopper

来停止网站，网站下次打开时将会重新编译和载入插件。

IWebsiteStopper

是一个抽象的接口，在Asp.Net中停止网站调用了

HttpRuntime.UnloadAppDomain

，而在Asp.Net Core中停止网站调用了

IApplicationLifetime.StopApplication

。

Asp.Net停止网站会卸载当前的

AppDomain

，下次刷新网页时会自动重新启动。
而Asp.Net Core停止网站会终止当前的进程，使用IIS托管时IIS会在自动重启进程，但使用自宿主时则需要依赖外部工具来重启。

写在最后

ZKWeb实现的动态编译技术大幅度的减少了开发时的等待时间，
主要节省在不需要每次都按快捷键编译和不需要像其他模块化开发一样需要从子项目复制dll文件到主项目，如果dll文件较多而且用了机械硬盘，复制时间可能会比编译时间还要漫长。
我将会在这个博客继续分享ZKWeb框架中使用的技术。
如果有不明白的部分，欢迎加入ZKWeb交流群522083886询问，
相关文章： 
Roslyn项目系统简介

Roslyn开源第一年：试炼与凯旋

原文地址：http://www.cnblogs.com/zkweb/p/5857355.html
.NET社区新闻，深度好文，微信中搜索dotNET跨平台或扫描二维码关注