## 微服务容灾治理 ### 1. go-zero 稳定性能力概览 经过这么多年大流量服务端架构设计的沉淀，go-zero 在保护服务的稳定性上下足了功夫，不管是 CPU 密集型还是 IO 密集型服务，go-zero 都能很好的保护服务在如下场景不被拖垮或卡死： 远超服务容量的突发大流量 CPU 打满 • 上下游故障或者超时 • MySQL、MongoDB、Redis 等中间件故障或者超负载（典型的是

deadb784517f8/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE # 讯飞输入法异地多活架构实践之路 凌 军 主办方 Geekbang. InfoQ 极客邦科技 ## 自我介绍 · 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 科大讯飞消费者BG基础平台架构负责人 /4/4/f244e3e91d6c76afe0bdeadb784517f8/p3_1.jpg) 来自：中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低  ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 ## 技术挑战 ## 机房天然延迟 几十毫秒的延迟； 跨机房性能较慢 ## 跨机房专线问题 专线费用高；

存储系统研发 有多年分布式存储研发经验 ## 目录 - Cellar起源 - 中心节点架构演进 - 节点高可用和异地容灾 - 服务可用性提升 - Cellar规划 ## 目录 - Cellar起源 - 中心节点架构演进 - 节点高可用和异地容灾 - 服务可用性提升 - Cellar规划 ## Cellar起源 Cellar，英文原意是酒窖，项目取名Cella ## Cellar起源 ## 开源 Tair 架构升级 可用性优化 性能优化 可运维性 Cellar ## 目录 - Cellar起源 - 中心节点架构演进 - 节点高可用和异地容灾 - 服务可用性提升 - Cellar规划 ## Cellar—中心节点架构演进 - 性能问题 客户端集中获取路由表 - 隔离性问题 中心节点暴露给客户端 ![Image](/u 中心节点架构演进 - 节点高可用和异地容灾 - 服务可用性提升 - Cellar规划 ## Cellar—节点高可用 存储节点Failover，越快越好？ • 数据补全对业务影响 • 机器宕机五分钟，数据补全两小时 节点升级，先切走流量再操作？ • 节点流量只能切到有其他副本的节点 • 升级后的节点缺少升级期间的写入 ## Cellar—节点高可用 - 秒级容灾 无数据迁移 客户端

王成昌（晙曦）蚂蚁金服技术专家 ## 目录 contents 一、业务背景 二、多集群管控 三、发布运维体系 ## 一、 业务背景 ## 业务架构 演进 容量 应用|数据库|机房 容灾 机房|地域  ## 业务架构 单元化 机房级和地域级容灾能力； ## 云原生 PaaS 产品架构方案 业务架构 同城双活架构 两地三中心架构 异地多活架构 产品层 跨机房和地域统一应用运维 分钟级容灾切换和恢复 全面变更风险管理 无限弹性可扩展 核心流程 蓝绿发布 弹性建站/下站 PaaS 核心层 灰度分组发布 容器腾挪/迁移 中间件变配 (DRM/Scheduler/Message) 容灾切换和恢复 联邦核心能力 • 跨集群资源同步 ➢ Template,Override,Placement 模型; 状态回流; 扩展 CRD; • 跨集群发现 ## 联邦架构 • 关系型存储； ➢ 数据量 容灾 • 基于部署单元分发  ## 三、

，可靠性，可观测性等分布式系统指标影响整个分布式系统的运行。历史上，这个系统在阿里也触发过大故障，经历过数次血与火的考验。在阿里数次架构升级中，Nacos 都做了大量的功能迭代，用来支持阿里的异地多活，容灾演练，容器化，Serverless 化。Nacos 经过阿里内部锤炼十年以上，各项指标已经及其先进，稳定，为服务好全球开发者，Nacos 经过数十名工程师持续努力，以开源形式和大家见面，相信 Nacos 间高效通信问题。 容量管理：管理每个租户，分组下的容量，防止存储被写爆，影响服务可用性。 • 流量管理：按照租户，分组等多个维度对请求频率，长链接个数，报文大小，请求流控进行控制。 • 缓存机制：容灾目录，本地缓存，Server 缓存机制，是 Nacos 高可用的关键。 启动模式：按照单机模式，配置模式，服务模式，DNS 模式模式，启动不同的模块。 一致性协议：解决不同数据，不同一致性要求情况下，不同一致性要求，是 ## 配置快照（Configuration Snapshot） Nacos 的客户端 SDK 会在本地生成配置的快照。当客户端无法连接到 Nacos Server 时，可以使用配置快照显示系统的整体容灾能力。配置快照类似于 Git 中的本地 commit，也类似于缓存，会在适当的时机更新，但是并没有缓存过期（expiration）的概念。 ## Nacos 配置模型 ## 基础模型 ![Im

，一台是Running节点，另一台作为Standby节点。Standby节点会对该Instance进行监听，当Running节点出现故障后，临时节点消失，然后Standby节点进行抢占。这样就达到了容灾的目的。 - 与CanalClient交互：CanalClient检测到自己负责的Instance所在的Running CanalServer后，便会进行连接，从而接收到CanalServer发来的Binlog数据。 Hive服务，基本覆盖了美团内部的各个业务线，目前已经能够满足绝大部分业务的数据同步需求，实现DB数据准确、高效地入仓。在后面的发展中，我们会集中解决CanalManager的单点问题，并构建跨机房容灾的架构，从而更加稳定地支撑业务的发展。 本文主要从Binlog流式采集和基于Binlog的ODS数据还原两方面，介绍了这一服务的架构，并介绍了我们在实践中遇到的一些典型问题和解决方案。希望能够给其 我们没法使用到Shark长连接，跨网跨国访问的问题依然存在。这种情况下我们的优化主要是“利用专线”： 我们的后台应用和数据部署在上海机房，在香港机房（香港IDC是个租用机房，未部署数据和应用，非“异地多活”）内部署了一组SLB（反向代理和七层负载均衡，基于tenginx实现）。 - 利用专线连接上海和香港的机房，解决了GFW拦截过滤、跨境网络访问及公网链路差的问题。 - 当用户在境外访问时，

web transfer meta gitlab hbs mysql agent updater ## 问题&目标 ## 问题 没有异地容灾 跨区域上报数据，会产生大量专线流量 ➢ 隔离性不好 ## 目标 异地容灾、高可用 节省专线带宽 支持三级网络架构 ➢ 支持按照租户进行隔离 运维入口统一 ## argus的架构 云管区（深圳、上海、廊坊） query  ## 解读argus的架构 ➢ 异地容灾，高可用 所有模块可横向扩展 ➢ 性能数据分三地存储，节省大量专线带宽 运维入口唯一，用户友好 兼顾了通用、个性化的监控需求 ➢ 做到租户隔离 ## 目录 团队介绍 ➤ 背景 系统定位

(%)70 ## 应用场景 - 异地容灾 ## 通过智能路由实现异地容灾 在SolarMesh中，只需要声明哪些集群是属于同一个mesh，借助istio的智能路由能力，同名service将会获得多集群容灾的能力 流量将会按照策略智能分配到正常的工作负载上  ## SolarMesh对虚拟机的支持 ✓ 让虚拟机成为集群的一部分 ✓ 流量视图 “看到” 虚拟机应用 ✓ 让虚拟机和集群享受同样的服务治理 ✓ 让虚拟机和集群具备相互容灾的能力 ✓ 快速，零成本接入 ## SolarMesh 对Istio社区的产品化改进 1. Istio的直连模式，在sidecar故障时提供秒级的直连流量切换 2. 多集群统一纳管，为流量运维提供上帝视角

12 动态扩展 12 分布式事务 12 HTAP 12 真正金融级高可用 13 适用场景 14 对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高的金融行业属性的场景 14 对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景 14 Real-time HTAP 场景 14 数据汇聚、二次加工处理的场景 解决方案。TiDB 适合高可用、强一致要求较高、数据规模较大等各种应用场景。 ## 对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高的金融行业属性的场景 众所周知，金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案是同城两个机房提供服务、异地一个机房提供数据容灾能力但不提供服务，此解决方案存在以下缺点：资源利用率低、维护成本高、RTO（Recovery Time Objective）及RPO（Recovery 分库分表的中间件产品或者 NewSQL 数据库替代、采用高端的存储设备等，其中性价比最大的是 NewSQL 数据库，例如：TiDB。TiDB 采用计算、存储分离的架构，可对计算、存储分别进行扩容和缩容，计算最大支持 512 节点，每个节点最大支持 1000 并发，集群容量最大支持 PB 级别。 ## Real-time HTAP 场景 随着 5G、物联网、人工智能的高速发展，企业所生产的数据会越来越多，其规模可能达到数百

是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的开源分布式关系型数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性，向用户提供一站式 OLTP、OLAP、HTAP 解决方案，适用于对高可用、一致性要求高、数据规模较大等应用场景。 ments/3/d/e/b/3deb0740caa715d2156ad7d85aa695c6/p12_1.jpg) ## 一 键水平扩容或者缩容 得益于 TiDB 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩容或者缩容过程中对应用运维人员透明。  ## 实时 HTAP