讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自：中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟； 跨机房性能较慢 机房天然延迟 专线费用高； 专线不稳定 跨机房专线问题 需要封装屏蔽细节 业务开发影响 如何精准调度； 如何合理调度 流量调度 存储系统自带同步 不成熟； 自研组件之间同步 数据同步 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式

年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar，英文原意是酒窖，项目取名Cellar，一方面借用其储藏 之意，同 Cellar起源—Tair问题 Cellar起源 架构升级 性能优化 可用性优 化 可运维性 Cellar 开源 Tair • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar—中心节点架构演进 • 性能问题 客户端集中获取路由表 • 隔离性问题 中心节点暴露给客户端 单独的路由表获取模块 Cellar—中心节点架构演进 Zookeeper选主 • 元数据Zookeeper存储 Cellar—中心节点架构演进 一致性： • 主备强一致 • observer同步强一致 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 存储节点Failover，越快越好？ • 数据补全对业务影响 • 机器宕机五分钟，数据补全两小时 节点升级，先切走流量再操作？ • 节点流量只能切到有其他副本的节点

酒旅数据仓库 数据挖掘 集团数据平台 旅游推荐产品形态 旅游场景下用户兴趣点不明 确，频道内超过50%订单来 自推荐 需求个性化 推荐形式多样 本异地差异大 季节性明显 旅游推荐面临的问题 本异地差异大 超过30%订单来自异地请求 常驻城市!=浏览城市 推荐形式多样 景点下有大量相似门票,不适合 按Deal样式展现 跟团游、景酒套餐关联多个景点 ，不适合按POI样式展现 基于用户画像的召回策略演进 热销策略 基于Deal所在城市统计分城市热销 分类 场景 召回策略 本地需求 常驻城市=浏览城市 (北京人浏览北京) 当地用户购买的热销POI 异地需求 常驻城市!=浏览城市 (重庆人浏览北京) 异地用户购买的热销POI (所有非北京人购买的热 销POI) 销量按时间衰减 热销策略 •精确统计POI销量 •Deal -> POI •POI售卖数据不准 •客户端埋点 率 •样本 •调查问卷 •特征 •注册城市 •注册手机号 •手机定位城市 •浏览城市 •消费城市：团购、电影、外卖 •接受短信手机号 用户历史行为强相关策略 •热销策略能区分本异地用户差异 •不能对具体用户个性化推荐 •用户一个月内浏览、收藏的 POI/Deal •越实时权重越高 POI/Deal View POI/Deal Collect Kafka POI/Deal

站）、微信朋友圈分享等，我们没法使用到Shark长连接，跨网跨国访问的问题依然存在。这种情况下我 们的优化主要是“利用专线”： 我们的后台应用和数据部署在上海机房，在香港机房（香港IDC是个租用机房，未部署数据和应用，非“异地多活”） 内部署了一组SLB（反向代理和七层负载均衡，基于tenginx实现）。 利用专线连接上海和香港的机房，解决了GFW拦截过滤、跨境网络访问及公网链路差的问题。 当用户在境外访问时，智能 、北京两地机房间地理间隔较远（北京-上海专 线ping延迟30ms左右），当北京的应用调服务时就会有较高的延迟，如果一个API内多次跨地域调用则 性能会非常差。 为此我们做了如下的缓存双集群加异地模式部署： 1. 商品静态信息全缓存，缓存未命中时再查DB。 2. DB以主从的方式部署，北京机房也部署了一套从库。 3. 缓存数据更新使用Databus，基于binglog数据同步的方式，保 缓存更新利用Client提供的双写模式。当DB数据有变更，Databus监听到数据更新后，消费程序通过缓存Client提供 的双写功能往两个缓存集群同时写入，服务层读数据时会选择就近的缓存集群。 通过这种双缓存加异地部署的“异地多活”模式（实际是异地只读），提升了我们服务在跨地域场景下调 用时的性能。 境外业务性能优化实践 - 美团技术团队 总结 总结 结合境外业务特点，本文从网络优化、前端优化、后端优化几个角度介绍了境外业务在性能优化上的一些

graph judge redis sender query mysql web alarm gitlab 问题&目标 Ø 问题 Ø 没有异地容灾 Ø 跨区域上报数据，会产生大量专线流量 Ø 隔离性不好 Ø 目标 Ø 异地容灾、高可用 Ø 节省专线带宽 Ø 支持三级网络架构 Ø 支持按照租户进行隔离 Ø 运维入口统一 argus的架构 可用区 云管区（主备） 策略 配置数据模型 租户 租户 主机 主机 主机组 主机组 模板 模板 父模板 父模板 联系人 联系人 策略 策略 策略 策略 策略 策略 租户隔离 解读argus的架构 Ø 异地容灾，高可用 Ø 所有模块可横向扩展 Ø 性能数据分三地存储，节省大量专线带宽 Ø 运维入口唯一，用户友好 Ø 兼顾了通用、个性化的监控需求 Ø 做到租户隔离 目录 Ø 团队介绍 Ø

可靠性，可观测性等分布式系统指标影 响整个分布式系统的运行。历史上，这个系统在阿里也触发过大故障，经历过数次血与火的考验。 在阿里数次架构升级中，Nacos 都做了大量的功能迭代，用来支持阿里的异地多活，容灾演练，容 器化，Serverless 化。Nacos 经过阿里内部锤炼十年以上，各项指标已经及其先进，稳定，为服务 好全球开发者，Nacos 经过数十名工程师持续努力，以开源形式和大家见面，相信 集群在扩容之后，性能上有很大问题。 集群扩展性的另⼀个方面是多地域部署和容灾的支持。当讲究集群的高可用和稳定性以及网络上的 跨地域延迟要求能够在每个地域都部署集群的时候，我们现有的方案有多机房容灾、异地多活、多 数据中心等。 77 > Nacos 架构 图 8 Nacos 的多机房部署和容灾 首先是双机房容灾，基于 Leader 写的协议不做改造是无法支持的，这意味着 Zookeeper 不能在 模式，这种情况下不支持双机房容灾。 在谈到异地多活时，很巧的是，很多业务组件的异地多活正是依靠服务注册中心和配置中心来实现 的，这其中包含流量的调度和集群的访问规则的修改等。机房容灾是异地多活的⼀部分，但是要让 业务能够在访问服务注册中心时，动态调整访问的集群节点，这需要第三方的组件来做路由。异地 多活往往是⼀个包含所有产品线的总体方案，很难说单个产品是否支持异地多活。 多数据中心其实也算是异地多活的⼀部分。从单个产品的维度上，Zookeeper

使用模拟的测试数据测试 1. 打好部署包即可部署 2. 用真实的数据测试 3. 挑个良辰吉日分配流量，宣布更新 Copyright © 2021 Cloud To Go 应用场景 - 异地容灾 通过智能路由实现异地容灾 在SolarMesh中，只需要声明哪些 集群是属于同一个mesh，借助istio 的智能路由能力，同名service将会 获得多集群容灾的能力 流量将会按照策略智能分配到正常

用户POD 应用多活最佳实践 MSE微服务引擎 Nacos 云原⽣⽹关 异地多活 管控 MSHA Nacos MSE微服务引擎 Nacos 云原⽣⽹关 Nacos 用户VPC 业务节点 业务节点 用户VPC 业务节点 业务节点 同Region，同AZ优先，Region内容灾； 跨Region异地容灾，通过网关打通跨region服务 云原⽣⽹关 云原⽣⽹关 Region1

云服务版 核心功能开源 • SQL 支持 • 无模式写入 • 缓存 • 流计算 • 数据订阅 • 集群、高可用 高可靠、线性扩展 + 专业技术服务 • 边云数据复制 • 跨云 / 异地数据复制 • 增量备份 • 多级存储 • 工业数据接入 全托管时序数据 管理云服务平台 • 全托管服务 • VPC 对等连接 • 多云部署（ AWS/Azure/ GCP) CONTENTS 2023.05 2023.09 Usability Functionality taosX - 集群运维 • 数据库复制 • 全量 / 增量备份 • 数据导入 / 导出 • 数据库迁移 • 异地容灾 taosX - 数据接入 Comming Soon taosX - 流式处理 taosX - Transformer • Parse {"parse": {"field1": { "cast":

这里的灾备主要指的是依赖的存储降级方案，涉及到存储 的主要两个模块 – Auth svr：cache（redis） + db（mysql） – Route svr：cache + cache（standy） 架构—异地双活 • 要求 – 正常情况下： • 任何一个机房可推送到所有机房app – 异常情况下： • 本机房内推送可达 • 架构图如下 （核心解决路由共享问题） 架构—总结 • 异步通信接口