详解Apache SkyWalking 告警配置指南

apache skywalking

apache skywalking是分布式系统的应用程序性能监视工具（application performance management，apm），专为微服务、云原生架构和基于容器（docker、k8s、mesos）架构而设计。

它提供了分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。

apache skywalking告警

apache skywalking告警是由一组规则驱动，这些规则定义在config/alarm-settings.yml文件中。

告警规则的定义分为三部分。

• 告警规则：定义了触发告警所考虑的条件。
• webhook：当告警触发时，被调用的服务端点列表。
• grpchook：当告警触发时，被调用的远程grpc方法的主机和端口。
• slack chat hook：当告警触发时，被调用的slack chat接口。
• 微信 hook：当告警触发时，被调用的微信接口。
• 钉钉 hook：当告警触发时，被调用的钉钉接口。

告警规则

告警规则有两种类型，单独规则（individual rules）和复合规则（composite rules），复合规则是单独规则的组合。

单独规则（individual rules）

单独规则主要有以下几点：

• 规则名称：在告警信息中显示的唯一名称，必须以_rule结尾。
• metrics-name：度量名称，也是oal脚本中的度量名。默认配置中可以用于告警的度量有：服务，实例，端点，服务关系，实例关系，端点关系。它只支持long,double和int类型。
• include-names：包含在此规则之内的实体名称列表。
• exclude-names：排除在此规则以外的实体名称列表。
• include-names-regex：提供一个正则表达式来包含实体名称。如果同时设置包含名称列表和包含名称的正则表达式，则两个规则都将生效。
• exclude-names-regex：提供一个正则表达式来排除实体名称。如果同时设置排除名称列表和排除名称的正则表达式，则两个规则都将生效。
• include-labels：包含在此规则之内的标签。
• exclude-labels：排除在此规则以外的标签。
• include-labels-regex：提供一个正则表达式来包含标签。如果同时设置包含标签列表和包含标签的正则表达式，则两个规则都将生效。
• exclude-labels-regex：提供一个正则表达式来排除标签。如果同时设置排除标签列表和排除标签的正则表达式，则两个规则都将生效。

标签的设置必须把数据存储在meter-system中，例如：prometheus, micrometer。以上四个标签设置必须实现labeledvalueholder接口。

• threshold：阈值。

对于多个值指标，例如percentile，阈值是一个数组。像value1 value2 value3 value4 value5这样描述。
每个值可以作为度量中每个值的阈值。如果不想通过此值或某些值触发警报，则将值设置为 -。
例如在percentile中，value1是p50的阈值，value2是p75的阈值，那么-，-，value3, value4, value5的意思是，没有阈值的p50和p75的percentile告警规则。

• op：操作符，支持>, >=, <, <=, =。
• period：多久告警规则需要被检查一下。这是一个时间窗口，与后端部署环境时间相匹配。
• count：在一个周期窗口中，如果按op计算超过阈值的次数达到count，则发送告警。
• only-as-condition：true或者false，指定规则是否可以发送告警，或者仅作为复合规则的条件。
• silence-period：在时间n中触发报警后，在n -> n + silence-period这段时间内不告警。 默认情况下，它和period一样，这意味着相同的告警（同一个度量名称拥有相同的id）在同一个周期内只会触发一次。
• message：该规则触发时，发送的通知消息。

举个例子：

rules:
  service_resp_time_rule:
    metrics-name: service_resp_time
    op: ">"
    threshold: 1000
    period: 10
    count: 2
    silence-period: 10
    message: 服务【{name}】的平均响应时间在最近10分钟内有2分钟超过1秒
  service_instance_resp_time_rule:
    metrics-name: service_instance_resp_time
    op: ">"
    threshold: 1000
    period: 10
    count: 2
    silence-period: 10
    message: 实例【{name}】的平均响应时间在最近10分钟内有2分钟超过1秒
  endpoint_resp_time_rule:
    metrics-name: endpoint_avg
    threshold: 1000
    op: ">"
    period: 10
    count: 2
    message: 端点【{name}】的平均响应时间在最近10分钟内有2分钟超过1秒

文章持续更新，微信搜索「万猫学社」第一时间阅读，关注后回复「电子书」，免费获取12本java必读技术书籍。

复合规则（composite rules）

复合规则仅适用于针对相同实体级别的告警规则，例如都是服务级别的告警规则：service_percent_rule && service_resp_time_percentile_rule。
不可以编写不同实体级别的告警规则，例如服务级别的一个告警规则和端点级别的一个规则：service_percent_rule && endpoint_percent_rule。

复合规则主要有以下几点：

• 规则名称：在告警信息中显示的唯一名称，必须以_rule结尾。
• expression：指定如何组成规则，支持&&, ||, ()操作符。
• message：该规则触发时，发送的通知消息。

举个例子：

rules:
  service_resp_time_rule:
    metrics-name: service_resp_time
    op: ">"
    threshold: 1000
    period: 10
    count: 2
    silence-period: 10
    message: 服务【{name}】的平均响应时间在最近10分钟内有2分钟超过1秒
  service_sla_rule:
    metrics-name: service_sla
    op: "<"
    threshold: 8000
    period: 10
    count: 2
    silence-period: 10
    message: 服务【{name}】的成功率在最近10分钟内有2分钟低于80％
composite-rules:
  comp_rule:
    expression: service_resp_time_rule && service_sla_rule
    message: 服务【{name}】在最近10分钟内有2分钟超过1秒平均响应时间超过1秒并且成功率低于80％

webhook

webhook 要求一个点对点的 web 容器。告警的消息会通过 http 请求进行发送，请求方法为 post，content-type 为 application/json，json 格式包含以下信息：

• scopeid：目标 scope 的 id。
• name：目标 scope 的实体名称。
• id0：scope 实体的 id。id1：未使用。
• rulename：您在 alarm-settings.yml 中配置的规则名。
• alarmmessage. 告警消息内容。
• starttime. 告警时间戳，当前时间与 utc 1970/1/1 相差的毫秒数。

举个例子：

[{
	"scopeid": 1, 
	"scope": "service",
	"name": "one-more-service", 
	"id0": "b3jkzxity2vudgvylxnlyxjjac1hcgk=.1",  
	"id1": "",  
    "rulename": "service_resp_time_rule",
	"alarmmessage": "服务【one-more-service】的平均响应时间在最近10分钟内有2分钟超过1秒",
	"starttime": 1617670815000
}, {
	"scopeid": 2,
	"scope": "service_instance",
	"name": "e4b31262acaa47ef92a22b6a2b8a7cb1@192.168.30.11 of one-more-service",
	"id0": "dwf0lwxib2mtc2vydmljzq==.1_ztrimzeynjjhy2fhnddlzjkyytiyyjzhmmi4ytdjyjfamtcylji0ljmwljezoa==",
	"id1": "",
    "rulename": "instance_jvm_young_gc_count_rule",
	"alarmmessage": "实例【e4b31262acaa47ef92a22b6a2b8a7cb1@192.168.30.11 of one-more-service】的younggc次数在最近10分钟内有2分钟超过10次",
	"starttime": 1617670815000
}, {
	"scopeid": 3,
	"scope": "endpoint",
	"name": "/one/more/endpoint in one-more-service",
	"id0": "b25lcglly2utyxbp.1_l3rlywnozxivc3r1zgvudc92axbszxnzb25z",
	"id1": "",
    "rulename": "endpoint_resp_time_rule",
	"alarmmessage": "端点【/one/more/endpoint in one-more-service】的平均响应时间在最近10分钟内有2分钟超过1秒",
	"starttime": 1617670815000
}]

grpchook

告警消息将使用 protobuf 类型通过grpc远程方法发送。消息格式的关键信息定义如下：

syntax = "proto3";

option java_multiple_files = true;
option java_package = "org.apache.skywalking.oap.server.core.alarm.grpc";

service alarmservice {
    rpc doalarm (stream alarmmessage) returns (response) {
    }
}

message alarmmessage {
    int64 scopeid = 1;
    string scope = 2;
    string name = 3;
    string id0 = 4;
    string id1 = 5;
    string rulename = 6;
    string alarmmessage = 7;
    int64 starttime = 8;
}

message response {
}

slack chat hook

您需要遵循传入webhooks入门指南并创建新的webhooks。

如果您按以下方式配置了slack incoming webhooks，则告警消息将按 content-type 为 application/json 通过http的 post 方式发送。

举个例子：

slackhooks:
  texttemplate: |-
    {
      "type": "section",
      "text": {
        "type": "mrkdwn",
        "text": ":alarm_clock: *apache skywalking alarm* \n **%s**."
      }
    }
  webhooks:
    - https://hooks.slack.com/services/x/y/z

微信hook

只有微信的企业版才支持 webhooks ，如何使用微信的 webhooks 可参见。

如果您按以下方式配置了微信的 webhooks ，则告警消息将按 content-type 为 application/json 通过http的 post 方式发送。

举个例子：

wechathooks:
  texttemplate: |-
    {
      "msgtype": "text",
      "text": {
        "content": "apache skywalking 告警: \n %s."
      }
    }
  webhooks:
    - https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=dummy_key

钉钉 hook

您需要遵循并创建新的webhooks。为了安全起见，您可以为webhook网址配置可选的密钥。

如果您按以下方式配置了钉钉的 webhooks ，则告警消息将按 content-type 为 application/json 通过http的 post 方式发送。

举个例子：

dingtalkhooks:
  texttemplate: |-
    {
      "msgtype": "text",
      "text": {
        "content": "apache skywalking 告警: \n %s."
      }
    }
  webhooks:
    - url: https://oapi.dingtalk.com/robot/send?access_token=dummy_token
      secret: dummysecret

微信扫描二维码，关注java 技术迷，回复「电子书」，免费获取java必读技术书籍。

到此这篇关于apache skywalking 告警配置指南的文章就介绍到这了,更多相关skywalking 告警配置内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！