微服务容灾治理
1. go-zero
稳定性能⼒概览
经过这么多年⼤流量服务端架构设计的沉淀，go-zero
在保护服务的稳定性上下⾜了功夫，不管是
CPU
密集型还是
IO
密集型服务，go-zero
都能很好的保护服务在如下场景不被拖垮或卡死：
• 远超服务容量的突发⼤流量 • CPU
打满
• 上下游故障或者超时 • MySQL、MongoDB、Redis
等中间件故

年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar，英文原意是酒窖，项目取名Cellar，一方面借用其储藏 之意，同时， Cellar起源—Tair问题 Cellar起源 架构升级 性能优化 可用性优 化 可运维性 Cellar 开源 Tair • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar—中心节点架构演进 • 性能问题 客户端集中获取路由表 • 隔离性问题 中心节点暴露给客户端 单独的路由表获取模块 Cellar—中心节点架构演进 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 存储节点Failover，越快越好？ • 数据补全对业务影响 • 机器宕机五分钟，数据补全两小时 节点升级，先切走流量再操作？ • 节点流量只能切到有其他副本的节点 • 升级后的节点缺少升级期间的写入 Cellar—节点高可用 Cellar—节点高可用 • 秒级容灾 无数据迁移 • 节点静默升级

（目标） 盈亏 绩效 奖惩 业务管理 （过程） 运营工具 任务系统 骑手运营 （人） 任务 活动 等级 结算平台 （钱） 清算 结算 对账 接单网关 标准API 容灾 容灾 API管理 标准API APP运维 多链路 安全框架 管理工作台 HRM 移动办公 招募 IM 物料 薪资 培训 成长 快速起量，系统质量、研发效率问题凸显 合同 （目标） 盈亏 绩效 奖惩 业务管理 （过程） 运营工具 任务系统 骑手运营 （人） 任务 活动 等级 结算平台 （钱） 清算 结算 对账 接单网关 标准API 容灾 容灾 API管理 标准API APP运维 多链路 安全框架 管理工作台 HRM 移动办公 招募 IM 物料 薪资 培训 成长 快速起量，系统质量、研发效率问题凸显 合同 （目标） 盈亏 绩效 奖惩 业务管理 （过程） 运营工具 任务系统 骑手运营 （人） 任务 活动 等级 结算平台 （钱） 清算 结算 对账 接单网关 标准API 容灾 容灾 API管理 标准API APP运维 多链路 安全框架 管理工作台 HRM 移动办公 招募 IM 物料 薪资 培训 成长 快速起量，系统质量、研发效率问题凸显 合同

是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的开源分布式关系型数据库产品, 具备水平扩容或者编容、金融级高可用、实时 HTAP,云原生的分 布式数据库、兼容 MySQL 5.7协议和 MySQL 生态等重要特性, 向用户提供一站式 OLTP.OLAPHTAP 解决 方案,适用于对高可用、一致性要求高、数据规模较大等应用场景。 一键水平扩容或者纺容 得瘟于 TiDB 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩 容或者缩容过程中对应用运维人员透明。 金融级高可用 数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派写入成功事务才能 提交，确保数据强一致性有少数副本发生故障时不影响数据的可用性。可按需配置副本地理位 置、副本数量等策略满足不同容灾级别的要求。 钢 集群调度器 TiSpark OLAP 分析引擎 2 人折3合 Tash 分布式下式 7 “ 存储引擎 异地灾备 (主从集群异步模式) W 多中心强一致多活 X o

性等分布式系统指标影 响整个分布式系统的运行。历史上，这个系统在阿里也触发过大故障，经历过数次血与火的考验。 在阿里数次架构升级中，Nacos 都做了大量的功能迭代，用来支持阿里的异地多活，容灾演练，容 器化，Serverless 化。Nacos 经过阿里内部锤炼十年以上，各项指标已经及其先进，稳定，为服务 好全球开发者，Nacos 经过数十名工程师持续努力，以开源形式和大家见面，相信 Nacos 间高效通信问题。  容量管理：管理每个租户，分组下的容量，防止存储被写爆，影响服务可用性。  流量管理：按照租户，分组等多个维度对请求频率，长链接个数，报文大小，请求流控进行控制。  缓存机制：容灾目录，本地缓存，Server 缓存机制，是 Nacos 高可用的关键。  启动模式：按照单机模式，配置模式，服务模式，DNS 模式模式，启动不同的模块。  ⼀致性协议：解决不同数据，不同⼀致性要求情况下，不同⼀致性要求，是 配置快照（Configuration Snapshot） Nacos 的客户端 SDK 会在本地生成配置的快照。当客户端无法连接到 Nacos Server 时，可以使 用配置快照显示系统的整体容灾能力。配置快照类似于 Git 中的本地 commit，也类似于缓存，会 在适当的时机更新，但是并没有缓存过期（expiration）的概念。 Nacos 配置模型 基础模型 上图是 Nacos

自动化测试在美团外卖的实践与落地 483 深入理解函数式编程（上） 512 深入理解函数式编程（下） 541 Android 对 so 体积优化的探索与实践 568 从 0 到 1：美团端侧 CDN 容灾解决方案 589 美团高性能终端实时日志系统建设实践 608 后端 622 可视化全链路日志追踪 622 设计模式二三事 647 基于代价的慢查询优化建议 670 Java 系列 版本，并新增了中大型网络，对轻量级和小网 络的性能进行了全面升级，进一步提升综合性能，量化效果也得到大幅提升，其中 YOLOv6-S 量化模型达到了 43.3mAP 和 869 FPS （TensorRT 8.4）。更多详细内 容请关注官方出品的技术报告 [7]。 36 > 2022年美团技术年货 表 12 YOLOv6-S V2.0 量化效果 我们希望通过分享本文的实践，进一步推动最新通用目标检测算法的落地。未来，我 ery/ Contextual 各个维度的基础、交叉特征可以快速复用到端上，当然需要考虑传输和 算法 < 221 存储优化，以及端、云特征系统的一致性，做到端云“无感”的开发部署，这部分内 容会在后面架构 & 部署优化章节详细介绍。除此以外，还有一部分端上特色的用户实 时反馈信号，包括更多细粒度的交互行为等，这些特征也是前文所分析的端上实时反 馈决策优势的关键信号。 表 1 特征体系

⽬录 概览 概览 什么是 什么是TiDB 产品优势 产品优势 ⾼度兼容 MySQL 动态扩展 分布式事务 HTAP 真正⾦融级⾼可⽤ 适⽤场景 适⽤场景 对数据⼀致性及⾼可靠、系统⾼可⽤、可扩展性、容灾要求较⾼的⾦融⾏业属性的场景 对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 OLTP 场景 Real-time HTAP 场景 数据汇聚、⼆次加⼯处理的场景 真正⾦融级⾼可⽤ UCloud 适合⾼可⽤、强⼀致要求较⾼、数据规模较⼤等各种应⽤ 场景。 对数据⼀致性及⾼可靠、系统⾼可⽤、可扩展性、容灾要求较⾼的⾦融⾏业属性的场景 对数据⼀致性及⾼可靠、系统⾼可⽤、可扩展性、容灾要求较⾼的⾦融⾏业属性的场景 众所周知，⾦融⾏业对数据⼀致性及⾼可靠、系统⾼可⽤、可扩展性、容灾要求较⾼。传统的解决⽅案是同城两个机房提供服务、异地⼀个机房提供数据容灾能⼒但不提供服务，此解决⽅案存 在以下缺点：资源利⽤率低、维护成本⾼、RTO 库分表的中间件产品或者 NewSQL 数据库替代、 采⽤⾼端的存储设备等，其中性价⽐最⼤的是 NewSQL 数据库，例如：TiDB。TiDB 采⽤计算、存储分离的架构，可对计算、存储分别进⾏扩容和缩容，计算最⼤⽀持 512 节点，每个节点最 ⼤⽀持 1000 并发，集群容量最⼤⽀持 PB 级别。 Real-time HTAP 场景 场景 随着 5G、物联⽹、⼈⼯智能的⾼速发展，企业所⽣产的数据会越来越多，其规模可能达到数百

PolarDB-X 如 何 做 生 态兼 容 好的 MySQL 兼容性可以做到什么程度 胡中泉（舟济） 阿里云数据库解决方案架构师为什么要兼容 MySQL 01 The longer you look back, the farther you can look forward.也从阿里巴巴的“去IOE”运动说起 业务驱动下的分布式技术实践之路 5月17日，支付宝最后一台小型 机下线标志去IOE落下帷幕 DebeziumPolarDB-X 完全兼容 MySQL Binlog 可行性 • 多节点产生多个增量事件队列 • 不同队列中事件之间的顺序 • 分布式事务完整性 • DDL 引起的多 Schema 版本问题 • 扩缩容引起的队列增减 ? Maxwell Debezium A: PolarDB-X 全局 Binlog：完全兼容 • 与 MySQL Binlog 体验完全一致 • 保障分布式事务完整性 • 透明：下游系统或工具改造成本为零 often rhymes.Short Answer：No and NO ONE Does进入 Kubernetes 生态 04 When in Rome, do as the Romans do.参数设置 容灾部署 CDC 备库重搭 备库重搭 SQL审计 只读实例

一、业务背景 二、多集群管控 三、发布运维体系 目 录 contents 目录3/20 一、业务背景 业务背景4/20 业务背景 业务架构 演进 • 容量  应用|数据库|机房 • 容灾  机房|地域5/20 业务背景 业务架构 单元化 • 高可用 • 一致性 • 可扩展 • 高性能6/20 业务背景 业务诉求 • 运维成本  突发流量应用 | 机房 生命周期  业务敏捷  SaaS 面向站点级别输出7/20 PaaS 能力 • 面向多租户多环境； • 基础资源管控； • 应用发布运维体系； • 业务实时监控，日志收集； • 机房级和地域级容灾能力; 业务背景业务背景 CAFÉ API Server Aggregation Layer 异地多活架构 同城双活架构 K8S API Server 基础发布运维 跨集群应用 资源管理 CNI Plugins (VLAN/VXLAN/VPC Router/ENI) CSI Plugins (NAS/OSS/Cloud Disk/Ceph) 网络接入 (SLB/ALB) 容 器 层 跨集群管理 单元化能力 容器镜像管理 批次发布 原生资源管理 Pod伸缩管理 集群伸缩管理 变更管控 配额管理 运维原子操作 精细化调度 接入层流程调拨 应用层流量调拨 跨集群状态

腾讯 专家工程师 自我介绍 罗韩梅，腾讯 T4 专家工程师，2009 年加入腾讯，现任数据平台部容器云开发组组长。 拥有多年分布式系统研发经验，对大数据、云计算、容器等有深刻理解。从事过自研容 器云平台，大数据云平台，以及面向公司内外的通用容器云平台，从无到有，从自研到 开源生态，从公司内部平台到同时面向To B市场。目前专注于容器云平台领域，负责腾 讯企业级容器云平台 。 2009年-2013年 全组件自动化部署、统一配置管理、多策略灰度升级 • 提供可视化、自动化的运维能力，降低使用者的人力成本和学习成本 可靠 • 所有组件无单点； • 平台本身支持热升级； • 组件自身HA机制，如docker； • 多地域多可用区的容灾设计 • 管理机挂掉：对应用无影响 • 计算节点挂掉：跨机迁移 • 健康探针 ① 存活探针 ② 就绪探针 • 负载均衡 • 重启机制 ① 区分异常原因 ② 本地重启/跨机重启 • 黑名单机制 • container.restartCount改为 annotation.io.kubernetes.container.restartCoun • Cgroup目录结构发生变化，新增Pod层级 平台容灾 应用容灾 数据容灾 企业内部各个集群灰度运营。 可靠 资源管 理 CPU Memory Disk Space Network TX Network RX Disk IO (include