每秒百万数据点 Go 应用监控系统演进 张平 AfterShip 高级 SRE 关于 AfterShip 拥抱云原生和开源系统 目 录 监控架构概览 01 如何监控 Go 应用？ 02 Metrics 系统架构演进 03 Why VictoriaMetrics so good？ 04 总结与展望 05 监控架构概览 第一部分 监控系统架构概览 -- 数据源 监控系统架构概览 创建速率 ○ 某个 ENT 客户的 Tracking 查询失败率 Metrics 系统架构演进 第三部分 2018-2020 2K+ 40K 1Mil+ 2020 年指标数据 业务指标数量 每秒写入数据点 Active Time Series 2018-2020 年架构 2020 年底面临的问题 ● 无法查询超过 30 天的数据 ● 查询慢，平均时间超过 2 分钟 ● 跨集群指标无法聚合 架构 S3 Thanos 架构 Querier Query-Frontend Store Gateway S3 2022 年中指标数据 14K+ 0.6Mil 30Mil+ 业务指标数量 每秒写入数据点 Active Time Series Thanos 架构优化 Querier Query-Frontend Store Gateway S3 Store Gateway Store

实现⾼性能和可⽤性。在本⽂中，我们将“⾼性能”定义 为每秒负载超过1000个交易且在整个API环境中最⼤延迟⼩于30毫秒。对公司⽽⾔，对性能的需求和 对管理的需求⼀样，因为公司依靠API交易速率来跟上业务发展速度。
API管理解决⽅案不能成为性能瓶颈。许多公司都在寻找跨多个API端点的负载均衡和⾼交易量吞吐的 解决⽅案。如果业务每秒有1000个交易，⼀个⽉内就会有30亿次
API
调⽤。拥有⼤流量的公司通常每 在本⽂中，我们展⽰了使⽤2个全⽣命周期API管理平台完成的性能测试结果：API7
和
Kong
企业版 （Kong
EE)。
在我们的单节点设置中，API7所有的压⼒测试结果都优于Kong
EE。在每秒10,000个请求的情况下， 99.99
%
的情况API7的延迟⽐Kong
EE低14倍。API7和Kong
EE⼆者百分⽐越⾼延迟差异越明显。在 我们所有的测试中，最⼤延迟差异体现得最明显的是达到
99 API
管理供应商提供⾃建或完全托管的云部署，少数的供应商同时提供这两种⽅式。虽然有很多平台 可以提供管理
API
的功能，但我们对⾼性能场景更感兴趣。同样，为了本报告的测试⽬标，我们将"⾼ 性能"
定义为每秒负载超过
1000
个交易，并在后端
API
和微服务中的最⼤延迟⼩于
30
毫秒。
本⽂的⽬的是探讨⾼性能要求下的
API
管理产品。

API7
API7
是建⽴在
Apache
A

的历史个数的 总和，所以它不是当前每秒淘汰的 key 的个数。 注意：如果发生主备切换，该值会以新的主库为准 。 UsedMemory 当前内存的使用值。 由于新建实例时会产生一定的元信息，所以对于主 从实例这个值最小是 30 MB，对于集群实例这个 数据的初始值为 30 MB乘以节点数，最小为 200 MB。 InFlow 后端 Redis 入口当前每秒的流量值，单位为 KBytes/s。 KBytes/s。 OutFlow 后端 Redis 出口当前每秒的流量值，单位为 KBytes/s。 ConnCount 当前 Redis 的客户端连接个数。 FailedCount 对于主从版本，目前这个值没有意义，因为客户端 直接连接到后端 DB。对于集群版实例，该统计项 标识 Proxy 到 Redis 的操作失败数目，包括超时 云数据库 Redis 版 快速入门 3 说明：您可以单击 说明：您可以单击自定义监控项添加不同操作命令的访问次数的监控，比如查看 set 命令每秒的次数。详 细信息请参见性能监控。 报警设置 选择左侧导航栏的报警设置，单击报警设置按钮跳转到云监控的设置页面。 您可以根据指引创建 Redis 的监控。对于集群实例建议添加所有实例的内存监控，这样可以对集群实例的子节 点的内存进行监控，告警设置如下： 、连接断开等异常引起的操作异常的数目。

cache 用作缓存的内存大小 inact 非活跃的内存大小 active 活跃的内存大小 swap si 每秒从交换区写到内存的大小 so 每秒从内存写到交换区的大小 io bi 每秒读取块设备的块数 bo 每秒写入块设备的块数 system in 每秒的中断数，包括时钟中断 cs 每秒的环境（上下文）切换次数 CPU us 用户进程执行时间的百分比 sy 系统进程执行时间的百分比 当管理程序为另一个虚拟进程提供服务而等待虚拟 cpu 的百分比 %idle CPU 空闲时间的百分比 Devices 硬盘设备 tps 每秒钟物理设备的 I/O 传输总量 kB_read/s 每秒从驱动器读入的数据量，单位为 块/s kB_wrtn/s 每秒向驱动器写入的数据量，单位为 块/s kB_read 读入的数据总量，单位为 KB kB_wrtn 写入的数据总量，单位为 KB ④mpstat 操作占用 cpu 时间百分比 %steal 管理程序为另一个虚拟进程提供服务而等待虚拟 cpu 的百分比 %idle 显示 cpu 在空闲状态占用 cpu 总时间的百分比 intr/s cpu 每秒接收到的中断数 101 二十九、网络诊断工具 ①Ping 工具 命令格式： （包大小为字节数，超时单位为毫秒） #ping -c 次数 -s 包大小 -W 超时 -I 出接口 目标 ip 例：

Zookeeper。默认分配策略为用后即弃，进程重启时会重新获 取一个新的 worker node id，22 位最多可支持约 420 万次启动。 • sequence：默认 13 位。表示每秒的并发序列，13 位可支持每秒 8192 个并发。 4.9.5.2.4 号段分配方案 号段分配方案可以理解为从数据库批量获取自增 ID。本方案需要一张序列号生成表，每行记录表示一个序列 对象。表定义示例如下： PAUSE（暂停）三种状态。 716 • start：日志备份任务开始的时间，该值为备份任务启动时候指定的 start-ts。 • storage：备份存储。 • speed：日志备份任务的总 QPS（每秒备份的日志个数）。 • checkpoint [global]：集群中早于该 checkpoint 的数据都已经保存到备份存储，它也是备份数据可恢 复的最近时间点。 • error [store 创建资源组 下面举例说明如何创建资源组。 1. 创建 rg1 资源组，限额是每秒 500 RU，并且允许这个资源组的应用超额占用资源。 CREATE RESOURCE GROUP IF NOT EXISTS rg1 RU_PER_SEC = 500 BURSTABLE; 2. 创建 rg2 资源组，RU 的回填速度是每秒 600 RU。在系统资源充足的时候，不允许这个资源组的应用超 额占用资源。

Zookeeper。默认分配策略为用后即弃，进程重启时会重新获 取一个新的 worker node id，22 位最多可支持约 420 万次启动。 • sequence：默认 13 位。表示每秒的并发序列，13 位可支持每秒 8192 个并发。 4.9.5.2.4 号段分配方案 号段分配方案可以理解为从数据库批量获取自增 ID。本方案需要一张序列号生成表，每行记录表示一个序列 对象。表定义示例如下： PAUSE（暂停）三种状态。 • start：日志备份任务开始的时间，该值为备份任务启动时候指定的 start-ts。 • storage：备份存储。 • speed：日志备份任务的总 QPS（每秒备份的日志个数）。 • checkpoint [global]：集群中早于该 checkpoint 的数据都已经保存到备份存储，它也是备份数据可恢 复的最近时间点。 • error [store 创建资源组 下面举例说明如何创建资源组。 1. 创建 rg1 资源组，限额是每秒 500 RU，并且允许这个资源组的应用超额占用资源。 CREATE RESOURCE GROUP IF NOT EXISTS rg1 RU_PER_SEC = 500 BURSTABLE; 2. 创建 rg2 资源组，RU 的回填速度是每秒 600 RU。在系统资源充足的时候，不允许这个资源组的应用超 额占用资源。

Zookeeper。默认分配策略为用后即弃，进程重启时会重新获 取一个新的 worker node id，22 位最多可支持约 420 万次启动。 • sequence：默认 13 位。表示每秒的并发序列，13 位可支持每秒 8192 个并发。 4.9.5.2.4 号段分配方案 号段分配方案可以理解为从数据库批量获取自增 ID。本方案需要一张序列号生成表，每行记录表示一个序列 对象。表定义示例如下： PAUSE（暂停）三种状态。 • start：日志备份任务开始的时间，该值为备份任务启动时候指定的 start-ts。 • storage：备份存储。 • speed：日志备份任务的总 QPS（每秒备份的日志个数）。 • checkpoint [global]：集群中早于该 checkpoint 的数据都已经保存到备份存储，它也是备份数据可恢 复的最近时间点。 • error [store 创建资源组 下面举例说明如何创建资源组。 1. 创建 rg1 资源组，限额是每秒 500 RU，并且允许这个资源组的应用超额占用资源。 CREATE RESOURCE GROUP IF NOT EXISTS rg1 RU_PER_SEC = 500 BURSTABLE; 2. 创建 rg2 资源组，RU 的回填速度是每秒 600 RU。在系统资源充足的时候，不允许这个资源组的应用超 额占用资源。

Zookeeper。默认分配策略为用后即弃，进程重启时会重新获 取一个新的 worker node id，22 位最多可支持约 420 万次启动。 • sequence：默认 13 位。表示每秒的并发序列，13 位可支持每秒 8192 个并发。 4.9.5.2.4 号段分配方案 号段分配方案可以理解为从数据库批量获取自增 ID。本方案需要一张序列号生成表，每行记录表示一个序列 对象。表定义示例如下： PAUSE（暂停）三种状态。 • start：日志备份任务开始的时间，该值为备份任务启动时候指定的 start-ts。 • storage：备份存储。 • speed：日志备份任务的总 QPS（每秒备份的日志个数）。 • checkpoint [global]：集群中早于该 checkpoint 的数据都已经保存到备份存储，它也是备份数据可恢 复的最近时间点。 • error [store 创建资源组 下面举例说明如何创建资源组。 1. 创建 rg1 资源组，限额是每秒 500 RU，并且允许这个资源组的应用超额占用资源。 CREATE RESOURCE GROUP IF NOT EXISTS rg1 RU_PER_SEC = 500 BURSTABLE; 2. 创建 rg2 资源组，RU 的回填速度是每秒 600 RU。在系统资源充足的时候，不允许这个资源组的应用超 额占用资源。

Zookeeper。默认分配策略为用后即弃，进程重启时会重新获 取一个新的 worker node id，22 位最多可支持约 420 万次启动。 • sequence：默认 13 位。表示每秒的并发序列，13 位可支持每秒 8192 个并发。 4.9.5.2.4 号段分配方案 号段分配方案可以理解为从数据库批量获取自增 ID。本方案需要一张序列号生成表，每行记录表示一个序列 对象。表定义示例如下： PAUSE（暂停）三种状态。 • start：日志备份任务开始的时间，该值为备份任务启动时候指定的 start-ts。 • storage：备份存储。 • speed：日志备份任务的总 QPS（每秒备份的日志个数）。 • checkpoint [global]：集群中早于该 checkpoint 的数据都已经保存到备份存储，它也是备份数据可恢 复的最近时间点。 • error [store 创建资源组 下面举例说明如何创建资源组。 1. 创建 rg1 资源组，限额是每秒 500 RU，并且允许这个资源组的应用超额占用资源。 CREATE RESOURCE GROUP IF NOT EXISTS rg1 RU_PER_SEC = 500 BURSTABLE; 2. 创建 rg2 资源组，RU 的回填速度是每秒 600 RU。在系统资源充足的时候，不允许这个资源组的应用超 额占用资源。

GA。 • TiDB 快照备份支持断点续传，此外PITR 的恢复性能提升了 50%，通用场景下 RPO 降低到 5 分钟。 • TiCDC 同步数据到 Kafka，吞吐从 4000 行每秒提升到 35000 行每秒，复制延迟降低到 2 秒。 • 提供行级别Time to live (TTL) 管理数据生命周期（实验特性）。 • TiCDC 支持 Amazon S3、Azure Blob Storage、NFS 10s。即使在常规的 TiKV/TiCDC 滚动升级场景，同步延迟也小于 30s。 在容灾场景测试中，打开 TiCDC redo log 和 Syncpoint 后，吞吐从 4000 行每秒提升到 35000 行每秒，容灾复 制延迟可以保持在 2s。 2.2.1.10 备份和恢复 • TiDB 快照备份支持断点续传 #38647 @Leavrth TiDB 快照备份功能支持断点续传。当 BR Zookeeper。默认分配策略为用后即弃，进程重启时会重新获 取一个新的 worker node id，22 位最多可支持约 420 万次启动。 • sequence：默认 13 位。表示每秒的并发序列，13 位可支持每秒 8192 个并发。 4.9.5.2.4 号段分配方案 号段分配方案可以理解为从数据库批量获取自增 ID。本方案需要一张序列号生成表，每行记录表示一个序列 对象。表定义示例如下：