分布式KV存储Cellar演进之路 美团点评·基础架构 齐泽斌 美团点评基础架构部，存储研发团队负责人 • Cellar：分布式KV存储服务 • Databus：数据库变更实时传输服务 • Venus：图片服务 11年毕业于天津大学 11 年到 14 年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • 美团引入阿里Tair作为NoSQL存储 • 14年底 大范围应用，并对Tair修修补补，积累领域问题 • 16年初 基于开源版本研发新一代KV存储系统Cellar • Now Cellar日请求量达万亿级，美团点评最大NoSQL存储 Cellar起源 Cellar起源—Tair架构 路由表 Cellar起源—Tair架构 HASH Key 桶号 存储节点 固定HASH算 法 法 固定数目 数据分片 桶->存储节点 对照表 Cellar起源—Tair架构 服务层 请求 mdb 响应 ldb fdb rdb 引擎层 迁移 复制 • 中心化集群问题 • 可用性问题 • 性能问题 • 运维问题 Cellar起源—Tair问题 Cellar起源 架构升级 性能优化 可用性优 化 可运维性 Cellar 开源 Tair • Cellar起源

⾼高可⽤用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ⾃自我介绍 ⾃自我介绍 李李玥 京东集团 技术架构部 架构师 负责主导设计新⼀一代京东消息中间件系统，专注于流数据的⼀一致性分发和可靠存储、分布式实时计算和⾼高可⽤用分 布式系统架构等技术领域。 从事互联⽹网研发、架构10余年年，曾在浪潮集团、当当⽹网等公司从事架构相关⼯工作。2017年年加⼊入京东，期间提升京 如何定位？如何融入生态系统？ How 如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage Storage Data 有序 Append only：尾部写入，不变 顺序读取 分布式 高性能 可靠性 顺序一致性 （近乎）无限容量 我们需要什什么样的存储？ WHAT Pub/Sub Powered by United Stream Store Streaming Connector Distributed Application Coordinating Service

应⽤用服务 业务领域 基础设施 ⼲干系⼈人: 应⽤用开发⼈人员 诉求: 灵活易易使⽤用的API 技术点: 性能，事务，分布式，安全等⾮非功能性需求 API服务 ⼯工作内容: • 接收外部请求并响应: 如HTTP请求, 消息处理理 • 事务管理理 • 认证 • 缓存 • ⽇日志 • 异常处理理 • 配置 • Session 技术⼈人员关注的层 腐化案例例: ⼤大量量业务逻辑堆积 业务领域 基础设施 ⼲干系⼈人: 外界系统 诉求: 稳定调⽤用外部系统 技术点: 使⽤用和适配外部系统模型，隔离和快速诊断错误 ⼯工作内容: • 学习和使⽤用外部系统，如数据库，邮件系统 • 适配外部系统模型，如SQL映射到模型对象 技术⼈人员关注的层 基础设施 腐化案例例: 业务逻辑和外部调⽤用逻辑混合 如⼀一个⽅方法⾥里里即处理理业务逻辑⼜又调⽤用SQL 业务领域 基础设施 业务模型: 精确表达⼀一个业务概念，分治管理理复杂度 存储模型: 性能最优化 DDD分层架构 不不同模型适配(动词) HTTP⽅方法: POST GET PUT DELETE 前端应⽤用 API服务 业务领域 基础设施 业务操作: 注册 注销 登录 退出 修改 撤销 存储动作: INSERT UPDATE DELETE DDD分层架构治理理 HTTP⽅方法:

server server server server (超)大型规模应用+契约协同 应用的发展演变历史 服务化后的问题 多团队协同的分布式环境下，不仅环境“重”，而且外部的服务是别的团队开发 的，你很难得到一个稳定、快速的外部服务提供环境，在此背景下进行功能/接口 调测存在如下困难： 开发依赖重 联调成本高 变动把控困难 拆 应用拆分 数据拆分 团队拆分 分布式服务 API 的系统资源就没有了，想想还有一堆的应用服务还没装，直接 泪崩… 8. 办公区断网，所有线上依赖环境都无法访问了，得，今天啥也 干不了了，回家洗洗睡吧…. … ….. ……… 1 2 3 解决之道：通过技术手段，降低系统对外部的依赖，而“MOCK”，是最 有效的手段。 分布式服务框架mock能力构建 应用 服务容器（Consumer） Filter Chain 将mock能力内置到分布式服务框架中 开发m com.company.modelB.* 192.168.1.33 com.company.modelC.* 192.168.1.44 应用服务契约测试 契约测试 通过mock手段可以解决外部不可控因素对本地调测的影响，如果真实的外 部服务改变了，我们的mock数据也要随之改变，但 问题是： 我们如何及时感知到服务接口/逻辑发生变化了？ 解决方法：契约测试 通过将契约测试集成到C

进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • … 数据与计算的分片 • 哈希分片 Master-Slave模型 - Master是管理者 - Slave是执行者 • 解决Master节点瓶颈 - 常规操作不经过Master • 一般计算系统 • Bigtable、Tera等存储系统 - 使Master无状态 • 非最底层系统都可以设计无状态Master - Master分布化 • BFS选择的解决方案 NameServer Cluster 故障容忍 • 设备都是会坏的 通过冗余应对故障 一个典型的数据处理场景 数据处理模块 数据接收模块 存储 主 从 从 1. 写入 2. 通知 3. 读取 多副本冗余 一致性问题 • 怎么定义写成功 - 3副本成功, 影响可用性 • 可以读从节点 - 刚写入的读不到 - 不一致 • 只允许读主节点 - 扩展性受限 数据处理模块 数据接收模块 存储 主 从 从 1. 写入 2. 通知 3. 读取 CAP理论

的环节中指导API的设计。 1. 将命令写在蓝⾊色即时贴上，可以是 • ⽤用户从UI界⾯面进⾏行行的操作 • 外部系统触发 • 定时任务 2. 将命令贴在所产⽣生的事件旁边； 3. 有的命令可能产⽣生多个事件，将它 们连接； 4. 在这个过程中可以识别出触发命令 的外部系统（粉⾊色即时贴）、persona （⻩黄⾊色即时贴）并进⾏行行表示； 划分限界上下⽂文 命令⻛风暴暴示例例 遗留留系统改造过程中，新需求开发必须按照新规则，如只通过 REST API进⾏行行依赖，同⼀一类型数据只能在某⼀一模块中修改， 不不依赖其他模块数据库等，减少改造⼯工作量量 3. 遗留留系统中还会包含前端代码和存储过程，也需要通过代码依 赖分析和数据库依赖分析进⾏行行拆解 4. 服务间依赖不不⼀一定只有REST API，可以通过异步消息、数据 冗余等⽅方式，根据实际情况进⾏行行选择 5. 部署新微服务

几十毫秒的延迟； 跨机房性能较慢 机房天然延迟 专线费用高； 专线不稳定 跨机房专线问题 依赖小服务，有一 定改造成本； 依赖外部服务 服务依赖问题 减少对业务开发影响； 需要封装屏蔽细节 业务开发影响 如何精准调度； 如何合理调度 流量调度 存储系统自带同步 不成熟； 自研组件之间同步 数据同步 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案

采用etcd 构建微服务框架 etcd是一个分布式的 、一致的key-value存储，主要用途是共享配置和服务发现。Etcd已经在很多分布式系统中得 到广泛的使用。Etcd采用raft协议，来保证一致性。 2.后台服务采用Go开发，围绕业务功能需求，构建后台服务模块 包括个人中心、服务、待办服务、证照服务、公共服务、外部能力、业务办理服务和运营管理服务模块 12、系统部署架构反复评审论证 一、部署架构

⽣生产环境脚本导入可视化 领域模型- 基于代码守护的反向可视化 运⾏行行时部署架构可 视化 数据库 状态/版本显⽰示 创建系统 组建团队 我的系统 列列表 团队⼈人员⾓角⾊色 权限维护 外部系统维护 架构约束定 义维护 部署元素维护 代码引入ArchUnit/ log格式入⼿手 框架管理理 代码模版⽣生成 引擎 GIT插件通信 对接DevOps 流⽔水线 契约测试Mocker 需求 查看需求 我的任务 对接外部 系统 前台 后台/⽀支持 为MVP包含的功能范围 服务地图 产品服务 ⽤用户 产品 容器器 云 PaaS ELK 监控 发布 平台 运维服务 服务实例例 资源池 运⾏行行架构 175 ⽤用户认证服务 鉴权 会话 微服务设计服务 微服务 服务地 图 API 契约 外部系 统 部署架构服务 架构约 束 U D U D U D U D U D U D U D U D U D U D U D U D U D 系统 31 •服务定义 •服务间及与外部 系统依赖关系 •DDD对象模型 服务地图 32 API管理理 •API定义 •服务与API关系 •多版本API管理理（API演进） 33 ⽣生成服务代码 •多框架⽀支持

限界上下文解耦-统一接口设计 统一 接口 模型检查 上下文 CAD翻模 上下文 钢筋计算 上下文 截面钢筋模 型上下文 Facade模式 解决： 接口不规范，多套接口 外部接口深入到上游的业务逻辑 限界上下文解耦-发布订阅机制 钢筋模型 上下文 建模模型 上下文 调度中心 平法模型 上下文 发布 解决： 上游模型变化，下游模型联动 发布-订阅机制