事件 ONCALL 中心建设方法 一站式处理值班 OnCall，智能降噪 北京快猫星云科技有限公司 前言 市面上有众多监控系统，刨去商业软件不说，开源的就有 Nagios、Zabbix、Open-Falcon、 Nightingale、Grafana、Prometheus、Elastalert 等等，还有云厂商提供的监控系统，比如华为云的云 监控、腾 Nightingale， 日志的监控可能用的 Elastalert，如果上云了，可能还会有多套不同的云监控（尤其是多云场景下）。 监控系统的重心，通常是采集、存储、可视化、生成告警事件，但通常都不具有完备的事件后续处理能 力。这里说的后续处理主要包括：多渠道分级通知、告警静默、抑制、收敛聚合、降噪、排班、认领升 级、协同闭环处理等等。监控系统或多或少都有一些这方面的能力，但是通常都不完备，而这，正是 这种产品存在的价值。这些产品都是以 Duty 命名，核心就是支持告警 OnCall 值班处理的场景。 对于告警事件的后续处理，有哪些问题和需求以及何为最佳实践？我们从思路方法和工具实践两个方面分 别进行探讨，下面先行探讨思路方法，看看要解决这些问题和需求，我们有哪些可能的解法。 思路方法篇 告警事件的后续处理：多渠道分级通知、告警静默、抑制、收敛聚合、降噪、排班、认领升级、协同闭环 处理等等。看起来需求很多，最核心的痛点有两个：

Service Mesh Meetup #4 上海站 探讨和实践基于Istio的微服务治理事件监控 2018.11.25 徐运元关于我 2008年毕业于浙江大学，曾在思科和浙大网新有超过 9年的工作经验和5年的云计算领域工作经验，带领团 队完成公司第一代基于Kubernetes的云平台开发和第 二代基于Kubernetes的DevOps云平台开发。目前致力 于公司基于Istio的微服务平台打造。 Metrics Logging Tracing 指标监控 • 指标可被聚合 • 体现系统性能趋势 分布式追踪 • 和请求相关 • HTTP • SQL 日志系统 • 代码逻辑处理事件 • 异常、debug信息容器化和微服务下的监控需求 微观下的监控需求 快速错误追踪 可快速排查在性能测试场景下的 慢方法、异常调用以及异常报文 等信息 单次链路追踪 可细粒度排查应用单次链路调用

. . . . . . . . . . . . . . 357 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423 10 事件通知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 部分详细介绍了如何使用 Zabbix 对监控环境进行高级概述。 Web 监控 可以帮助您了解如何监控网站的可用性。 虚拟机监控 提供了配置 VMware 环境监控的方法。 维护 ，正则表达式，事件确认 和XML 导入/导出 部分进一步说明如何使用 Zabbix 软件的各个方面。 发现 包含有关设置网络设备、主动模式的 agent（自动注册）、文件系统、网络接口等的自动发现的说明。 分布式监控

���������������������������������������������������������������������������������������������� ��� 事件��������������������������������������������������������������������������������������������������� �������������������������������������������������������������������������������������������� ��� 调用事件��������������������������������������������������������������������������������������������������� ��� 概念范围 概念范围 概念范围 概念范围� ��� 概念和模型可以被划分为以下的范围 � 静态结构 静态结构 静态结构 静态结构 精确的模型必须首先定义讨论的各种事物 即应用中的关键概念 它们的内部 特征和相互之间的关系 该一系列构造是静态视图 应用概念建模成类 类描述了一系列 拥有信息和相互通讯以实现行为的离散对象 对象所拥有的信息建模成属性 它们执行的 行为建模成操作 多个类可以使用概括共享通用的结构

. . . . . . . . . . . . . . 337 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388 10 事件通知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 部分详细介绍了如何使用 Zabbix 对监控环境进行高级别的概览。 Web 监控 可以帮助您了解如何监控网站的可用性。 虚拟机监控 提供了配置 VMware 环境监控的方法。 维护 ，正则表达式，事件确认 和XML 导入/导出 部分进一步说明如何使用 Zabbix 软件的各个方面。 发现 包含有关设置网络设备、主动模式的 agent（自动注册）、文件系统、网络接口等的自动发现的说明。 分布式监控

Data Properties and Methods 计算属性和侦听器 Class 与 Style 绑定 条件渲染 列表渲染 事件处理 表单输入绑定 组件基础 深入组件 组件注册 Props 非 Prop 的 Attribute 自定义事件 插槽 提供 / 注入 动态组件 & 异步组件 模板引用 处理边界情况 过渡&动画 过渡 & 动画概述 进入过渡 & 离开过渡 无障碍 基础 语义学 标准 资源 从 Vue 2 迁移 介绍 v-for 中的 Ref 数组 异步组件 attribute 强制行为 自定义指令 自定义元素交互 Data 选项 事件 API 过滤器 片段 函数式组件 - 3 - 本文档使用 书栈网 · BookStack.CN 构建 全局 API 全局 API Treeshaking 内联模板 Attribute CN 构建 安装 介绍 应用 & 组件实例 模板语法 Data Properties and Methods 计算属性和侦听器 Class 与 Style 绑定 条件渲染 列表渲染 事件处理 表单输入绑定 组件基础 基础 - 6 - 本文档使用 书栈网 · BookStack.CN 构建 Vue.js 在设计上是可以逐步采纳的。这意味着它可以根据需求以多种方式集成到一个项目中。

. . . . . . . . . . . . . . 659 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732 9 事件通知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . error logs, configuration, version, etc.) 4 实时导出事件，监控项采集值，趋势数据 4 Real-time export of events, values, trends 概述 Overview 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值，趋势数据。 It is possible to configure real-time

. . . . . . . . . . . . . . 528 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637 9 事件通知（ZX） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . error logs, configuration, version, etc.) 4 实时导出事件，监控项采集值，趋势数据 4 Real-time export of events, values, trends 概述 Overview 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值，趋势数据。 It is possible to configure real-time

. . . . . . . . . . . . . . 522 4 事件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545 5 事件关联 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557 9 事件通知（ZX） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . error logs, configuration, version, etc.) 4 实时导出事件，监控项采集值，趋势数据 4 Real-time export of events, values, trends 概述 Overview 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值，趋势数据。 It is possible to configure real-time

. . . . . . . . . 2.1.1. 关于 JSON OpenShift Container Platform Logging 2.1.2. 关于收集并存储 Kubernetes 事件 2.1.3. 关于更新 OpenShift Container Platform Logging 2.1.4. 关于查看集群仪表板 2.1.5. 关于 OpenShift Container Platform 关于导出字段 2.1.8. 关于 OpenShift Logging 组件 2.1.9. 关于日志记录收集器 2.1.10. 关于日志存储 2.1.11. 关于日志记录视觉化 2.1.12. 关于事件路由 2.1.13. 关于日志转发 第 第 3 章 章 安装 安装 OPENSHIFT LOGGING 3.1. 使用 WEB 控制台安装 OPENSHIFT LOGGING 3.2. 安装后的任务 ELASTICSEARCH 配置 JSON 日志数据 8.3. 将 JSON 日志转发到 ELASTICSEARCH 日志存储 第 第 9 章 章 收集并存 收集并存储 储 KUBERNETES 事件 事件 9.1. 部署和配置事件路由器 第 第 10 章 章 更新 更新 OPENSHIFT LOGGING 10.1. 从 OPENSHIFT CONTAINER PLATFORM 4.6 或更早版本的集群日志记录升级到