exceptionless（二） - 本地部署使用进阶

作者：markjiang7m2
原文地址：
官网地址：

在上一篇文章exceptionless - .net core开源日志框架中就说到如何对exceptionless进行本地化部署，不过我也跟大家说了，仅限于能用的阶段。那今天我就继续来探讨一下如何再用好。

后台运行服务

上次我就是直接通过脚本start-elasticsearch.ps1启动elasticsearch和kibana服务，但是大家也能看到，服务是运行起来了，同时还有两个命令窗口，如果一个不小心把窗口关闭了，服务也就关闭了，而且一旦服务器重启了，这两个服务也不会自动启动。
我这里先暂时把kibana扔一边去，来看看elasticsearch服务。elasticsearch是直接有脚本支持将elasticsearch安装为windows服务，在后台运行。

就是这个elasticsearch-service.bat脚本，支持一下参数：

• install 将elasticsearch作为服务安装
• remove 删除已安装的elasticsearch服务（并在启动时停止服务）
• start 启动elasticsearch服务（如果已安装）
• stop 停止elasticsearch服务（如果启动）
• manager 启动一个gui来管理已安装的服务

安装
命令行，进入到elasticsearch-service.bat所在的目录，然后执行下面的脚本

elasticsearch-service.bat install

启动

这个时候我们可以直接在浏览器访问9200端口看看服务是否正常

继续使用上次部署好的exceptionless
（如何使用iis部署exceptionless web服务，请看exceptionless - .net core开源日志框架）

因为我是直接用回之前elasticsearch的节点，而且也没有清空数据，所以可以直接用之前注册的账号重新登录

也是成功的，elasticsearch服务已经运行在后台了。

自动启动
通过elasticsearch提供的gui可以将服务设置为自动启动

elasticsearch-service.bat manager

将startup type选择为automatic，再点击ok保存

这样，即使服务器重启了，我们的elasticsearch服务也会自动启动

其实，有玩过windows服务的朋友一定知道，上面的一些操作在windows自带的服务管理器也能完成

同时按下"win+r" 打开服务的命令运行窗口。在服务运行窗口中输入services.msc

在列表中也可以找到elasticsearch服务，双击打开属性窗口，跟刚刚的gui操作就是一样的了

再看web.config

上次我只是改了exceptionless的端口设置，其实这里面还包含很多配置信息

<add name="redisconnectionstring" connectionstring="localhost:6379,abortconnect=false" />
<add name="elasticsearchconnectionstring" connectionstring="http://localhost:9200" />

官方是建议大家安装和配置redis，这样就可以同时运行多个实例，并且重启不会丢失状态，强烈建议在linux上运行redis 3.0+版本，redisconnectionstring就是redis的连接串

elasticsearchconnectionstring是必须的，指向elasticsearch服务，如果有多个节点，则使用,隔开

<!-- exceptionless web 基础url -->
<add key="baseurl" value="http://localhost:50001/#" />
<!-- 是否启用ssl -->
<add key="enablessl" value="false" />
<!-- 
dev: use this mode when debugging. (outbound emails will not be sent)
qa: use this mode when deployed to staging. (outbound emails restricted)
production: use this mode when deployed to production.
-->
<add key="websitemode" value="production" />
<!-- controls whether users can signup. -->
<add key="enableaccountcreation" value="true" />
<!-- controls whether daily summary emails are sent -->
<add key="enabledailysummary" value="true" />

网站模式websitemode主要是限制邮件发送，默认值是dev，不发送邮件，所以我这里设置为production

邮件发送配置，记得跟上面的websitemode一起配置

<add key="smtphost" value="smtp.qq.com" />
<add key="smtpport" value="25" />
<add key="smtpencryption" value="ssl" />
<add key="smtpuser" value="[e-mail]" />
<add key="smtppassword" value="xxx" />

我在案例中使用的是自己的qq邮箱。我在qq邮箱中已经开启了smtp服务，并且也通过一个控制台应用程序测试可以发送邮件。
但是在exceptionless这里一样的设置就是不行，在web中点击发送邮件，log记录错误如下：
error mailmessagejob job run "mailmessagejob" failed: 由于意外的数据包格式，握手失败。 system.io.ioexception: 由于意外的数据包格式，握手失败。

清除url
我们现在使用的url都会带有#!，例如

http://localhost:50001/#!/type/error/dashboard

可以按照下面步骤清除字符#!

• 首先保证你的iis是否已经安装了重写模块，可通过双击iis中的模块查看是否包含了rewritemodule
  
• 更新web.config文件
  • 释放出在system.webserver中的rewrite节点
  • 删除baseurl值中的/#
  • 注释了在system.webserver\modules中的<remove name="rewritemodule" />标签
• 修改app.config.77fc9ddd679d37dc.js文件中use_html5_mode的值为true

进程外运行作业
默认情况下，所有作业都在当前的web进程中运行。如果发现事件处理开始变慢的时候，可以启动并扩展多个作业实例。通过在进程外运行作业，可以确保所有作业是否正常运行。

• 首先是要配置安装redis，这样可以保证exceptionless与作业之间能够进行通信
• 更新web.config中的runjobsinprocess值为false
• 更新作业的配置，有两种方法可选：
  • 使用环境变量进行配置exceptionless。新增环境变量exceptionless_{setting name} (例如: exceptionless_baseurl, exceptionless_elasticsearchconnectionstring)。这是官方推荐的方法，因为它更简单，而且当部署到azure时非常好用
  • 打开app_data\jobs文件夹，然后按照在根目录中web.config的配置，再重新配置每个作业的xxx.exe.config。
• 在每个作业文件夹中都有一个run.bat文件，双击它就会运行这个作业。当然，也可以将这些作业全部设置为windows服务在后台运行

更多设置
除了上面提到的设置，exceptionless还支持很多自定义配置，下面是全部的设置列表，大家可根据自己的需要进行定制
列表按照这个格式进行排列：设置项 (数据类型，默认值)

enablessl (bool)
baseurl (string)
internalprojectid (string, "54b56e480ef9605a88a13153")
websitemode (websitemode, "dev")
appscope (string, string.empty)
testemailaddress (string)
allowedoutboundaddresses (list<string>, "exceptionless.io")
runjobsinprocess (bool, true)
botthrottlelimit (int, 25)
apithrottlelimit (int, int32.maxvalue)
eventsubmissiondisabled (bool)
maximumeventpostsize (long, 1000000)
maximumretentiondays (int, 180)
enabledailysummary (bool)
metricsservername (string, "127.0.0.1")
metricsserverport (int, 8125)
enablemetricsreporting (bool)
redisconnectionstring (string)
enableredis (bool)
disablesnapshotjobs (bool)
disableindexconfiguration (bool)
elasticsearchconnectionstring (string)
elasticsearchnumberofshards (int, 1)
elasticsearchnumberofreplicas (int)
enableelasticsearchtracing (bool)
ldapconnectionstring (string)
enableactivedirectoryauth (bool)
enablesignalr (bool, true)
version (string)
enableintercom (bool)
intercomappsecret (string)
enableaccountcreation (bool, true)
microsoftappid (string)
microsoftappsecret (string)
facebookappid (string)
facebookappsecret (string)
githubappid (string)
githubappsecret (string)
googleappid (string)
googleappsecret (string)
googlegeocodingapikey (string)
enablebilling (bool)
stripeapikey (string)
storagefolder (string)
azurestorageconnectionstring (string)
enableazurestorage (bool)
bulkbatchsize (int, 1000)
smtphost (string)
smtpport (int, 587)
smtpenablessl (bool, true)
smtpuser (string)
smtppassword (string)

更多日志类型

exceptionless除了支持记录exception，也可以记录logmessage、broken links 、feature usages

logmessage
logmessage支持多种级别的日志信息

• other
• trace
• debug
• info
• warn
• error
• fatal
• off

用法也很简单，直接在你想要记录日志的地方直接加一句

exceptionlessclient.default.createlog("日志信息", loglevel.debug).addtags("tag1", "tag2").submit();

所以我们在应用的过程中，可以添加一个统一的接口

public interface ilogger
{
    void debug(string message, params string[] tags);
    void error(string message, params string[] tags);
    void fatal(string message, params string[] tags);
    void info(string message, params string[] tags);
    void off(string message, params string[] tags);
    void other(string message, params string[] tags);
    void trace(string message, params string[] tags);
    void warn(string message, params string[] tags);
}

using exceptionless;
using exceptionless.logging;

public class exceptionlesslogger : ilogger
{
    public void debug(string message, params string[] tags)
    {
        exceptionlessclient.default.createlog(message, loglevel.debug).addtags(tags).submit();
    }

    public void error(string message, params string[] tags)
    {
        exceptionlessclient.default.createlog(message, loglevel.error).addtags(tags).submit();
    }

    public void fatal(string message, params string[] tags)
    {
        exceptionlessclient.default.createlog(message, loglevel.fatal).addtags(tags).submit();
    }

    public void info(string message, params string[] tags)
    {
        exceptionlessclient.default.createlog(message, loglevel.info).addtags(tags).submit();
    }

    public void off(string message, params string[] tags)
    {
        exceptionlessclient.default.createlog(message, loglevel.off).addtags(tags).submit();
    }

    public void other(string message, params string[] tags)
    {
        exceptionlessclient.default.createlog(message, loglevel.other).addtags(tags).submit();
    }

    public void trace(string message, params string[] tags)
    {
        exceptionlessclient.default.createlog(message, loglevel.trace).addtags(tags).submit();
    }

    public void warn(string message, params string[] tags)
    {
        exceptionlessclient.default.createlog(message, loglevel.warn).addtags(tags).submit();
    }
}

然后在startup.cs的configureservices方法注入exceptionlesslogger

public void configureservices(iservicecollection services)
{
    services.addsingleton<ilogger, exceptionlesslogger>();
    services.addmvc().setcompatibilityversion(compatibilityversion.version_2_2);
}

这样就可以更方便地使用了

public class valuescontroller : controllerbase
{
    public ilogger _logger;
    public valuescontroller(ilogger logger)
    {
        _logger = logger;
    }
    
    // get api/values/{id}
    [httpget("{id}")]
    public actionresult<string> get(int id)
    {
        try
        {
            _logger.info("test msg", "tag1", "tag2");
            throw new exception();
        }
        catch (exception ex)
        {
            ex.toexceptionless().addtags("tag1", "tag2").submit();
        }
        return $"value {id}";
    }
}

broken links
记录404找不到请求的日志

像我这里没有添加favicon.ico图标，使用chrome浏览器会自动请求这个资源，因此，exceptionless就记录了这样的日志

也可以直接在api服务中调用如下面语句添加这种类型的日志

exceptionlessclient.default.createnotfound("404 not found").settype("404").setsource($"api/values/{id}");

feature usages
类似的也可以添加feature usages日志

exceptionlessclient.default.createfeatureusage("feature 1").setsource($"api/values/{id}").settype("featuretype").submit();

事件

上面所说的所有日志类型，最终都会通过事件进行记录，exceptionless也支持我们直接记录一个事件

例子如下：

var datadic = new exceptionless.models.datadictionary();
datadic.add("key", "value");
exceptionlessclient.default.submitevent(new exceptionless.models.event
{
    count = 1,
    date = datetime.now,
    data = datadic,
    geo = "geo",
    message = "message",
    referenceid = "referencelid",
    source = "source",
    tags = new exceptionless.models.tagset() { "tags" },
    type = "type"
});

exceptionless同时也支持我们捕获事件提交过程和事件提交后的事件，这样我们就可以在过程中做一些操作，例如可以忽略404的请求，或者针对某些特殊日志返回某些信息

为了代码的整洁，可以将exceptionless的配置单独放到一个cs文件中

添加一个exceptionlessbuilderextensions类

public static class exceptionlessbuilderextensions
{
    public static iapplicationbuilder useexceptionless(this iapplicationbuilder app, iconfiguration configuration)
    {
        exceptionlessclient.default.configuration.apikey = configuration["exceptionless:apikey"];
        exceptionlessclient.default.configuration.serverurl = configuration["exceptionless:serverurl"];
        exceptionlessclient.default.submittingevent += onsubmittingevent;
        app.useexceptionless();

        return app;
    }

    private static void onsubmittingevent(object sender, eventsubmittingeventargs e)
    {
        if (e.event.isnotfound())
        {
            e.cancel = true;//取消事件提交
            return;
        }

        // 修改日志信息
        if (e.event.source == "sourcea")
        {
            e.event.addtags("systemlog");
        }

        //todo:
    }

    private static void onsubmittedevent(object sender, eventsubmittedeventargs e)
    {
        // 做点什么东西
        if (e.event.source == "sourcea")
        {
            //todo:
        }
    }
}

然后修改startup.cs

public void configure(iapplicationbuilder app, ihostingenvironment env)
{
    ……

    app.useexceptionless(configuration);

    ……
}

exceptionless 日志查询

exceptionless web站点已经帮我们做好项目、时间、日志类型的分类，大家可以很直观地进行操作查询。
我这里要关注的是filter查询

前面记录日志的时候，有添加了tag、type等信息，这时候就可以使用filter进行查询了。
语法：

[filtertype]:[value1] {or} {[value2]}

or是用于查询多个该类型值的日志时使用

例如：tag:tag1

列几个可能比较常用的

• source:"my log source" or "my log source"
• type:error
• level:error
• ip:127.0.0.1

如果是要同时输入多种类型的条件：

[filtertype]:[value] {or|and} {[filtertype]:[value]}

例如：tag:tag1 or ip:127.0.0.1

更多的语法可以看官网说明
https://github.com/exceptionless/exceptionless/wiki/filtering-searching

总结

在这篇文章中，我基本就是顺着exceptionless self hosting的介绍做了一遍，不过有一些东西因为没有实际环境，所以也没有去做，然后我这个也只是一个demo，暂时也没有做相关的压力测试，所以也不知道这货真正在生产环境大量用起来的时候会有一些什么表现，会不会踩到什么坑。欢迎大家在留言区跟我一起交流。今天就先跟大家介绍到这里，希望大家能持续关注我们。

参考文献
本文在编写过程中引用或参考了以下文章中的部分内容，如有侵权，请联系修改或删除。