分布式KV存储Cellar演进之路 美团点评·基础架构 齐泽斌 美团点评基础架构部，存储研发团队负责人 • Cellar：分布式KV存储服务 • Databus：数据库变更实时传输服务 • Venus：图片服务 11年毕业于天津大学 11 年到 14 年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • 美团引入阿里Tair作为NoSQL存储 • 14年底 大范围应用，并对Tair修修补补，积累领域问题 • 16年初 基于开源版本研发新一代KV存储系统Cellar • Now Cellar日请求量达万亿级，美团点评最大NoSQL存储 Cellar起源 Cellar起源—Tair架构 路由表 Cellar起源—Tair架构 HASH Key 桶号 存储节点 固定HASH算 法 法 固定数目 数据分片 桶->存储节点 对照表 Cellar起源—Tair架构 服务层 请求 mdb 响应 ldb fdb rdb 引擎层 迁移 复制 • 中心化集群问题 • 可用性问题 • 性能问题 • 运维问题 Cellar起源—Tair问题 Cellar起源 架构升级 性能优化 可用性优 化 可运维性 Cellar 开源 Tair • Cellar起源

⾼高可⽤用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ⾃自我介绍 ⾃自我介绍 李李玥 京东集团 技术架构部 架构师 负责主导设计新⼀一代京东消息中间件系统，专注于流数据的⼀一致性分发和可靠存储、分布式实时计算和⾼高可⽤用分 布式系统架构等技术领域。 从事互联⽹网研发、架构10余年年，曾在浪潮集团、当当⽹网等公司从事架构相关⼯工作。2017年年加⼊入京东，期间提升京 如何定位？如何融入生态系统？ How 如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage Storage Data 有序 Append only：尾部写入，不变 顺序读取 分布式 高性能 可靠性 顺序一致性 （近乎）无限容量 我们需要什什么样的存储？ WHAT Pub/Sub Powered by United Stream Store Streaming Connector Distributed Application Coordinating Service

0+版本的群组特性，详情可以参考此链接。 运维部署工具：企业级用户的区块链管理工具 运维部署工具是为企业用户提供的部署、管理和监控多机构多群组联盟链 的便捷工具。它面向于真实的多机构生产环境，为了保证机构的密钥安 全，运维部署工具提供了一种机构间相互合作部署联盟链方式。 数据治理通用组件：释放数据价值 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳 ）和应用开 发脚手架（SmartDev-Scaffold）。开发者可根据自己的情况自由选择相应 的开发工具，提升开发效率。 系统设计 整体架构 共识算法 交易并行 分布式存储 预编译合约 更多开源工具 FISCO BCOS企业级金融联盟链底层平台: [GitHub] [https://github.com/FISCO-BCOS/FISCO-BCOS/tree/master-2 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ TPS（PBFT） 交易确认时延 秒级 硬件推荐配置 整体架构 CPU 2.4GHz * 8核 内存 8GB 存储 4TB 网络带宽 10Mb 账本模型 数据结构 链式结构，区块通过哈希链相连

0+版本的群组特性，详情可以参考此链接。 运维部署工具：企业级用户的区块链管理工具 运维部署工具是为企业用户提供的部署、管理和监控多机构多群组联盟链 的便捷工具。它面向于真实的多机构生产环境，为了保证机构的密钥安 全，运维部署工具提供了一种机构间相互合作部署联盟链方式。 数据治理通用组件：释放数据价值 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳 ）和应用开 发脚手架（SmartDev-Scaffold）。开发者可根据自己的情况自由选择相应 的开发工具，提升开发效率。 系统设计 整体架构 共识算法 交易并行 分布式存储 预编译合约 更多开源工具 FISCO BCOS企业级金融联盟链底层平台: [GitHub] [https://github.com/FISCO-BCOS/FISCO-BCOS/tree/master-2 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ TPS（PBFT） 交易确认时延 秒级 硬件推荐配置 整体架构 CPU 2.4GHz * 8核 内存 8GB 存储 4TB 网络带宽 10Mb 账本模型 数据结构 链式结构，区块通过哈希链相连

0+版本的群组特性，详情可以参考此链接。 运维部署工具：企业级用户的区块链管理工具 运维部署工具是为企业用户提供的部署、管理和监控多机构多群组联盟链 的便捷工具。它面向于真实的多机构生产环境，为了保证机构的密钥安 全，运维部署工具提供了一种机构间相互合作部署联盟链方式。 数据治理通用组件：释放数据价值 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳 ）和应用开 发脚手架（SmartDev-Scaffold）。开发者可根据自己的情况自由选择相应 的开发工具，提升开发效率。 系统设计 整体架构 共识算法 交易并行 分布式存储 预编译合约 更多设计文档 更多开源工具 FISCO BCOS企业级金融联盟链底层平台: [GitHub] [https://github.com/FISCO-BCOS/FISCO-BCOS] 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ TPS（PBFT） 交易确认时延 秒级 硬件推荐配置 整体架构 CPU 2.4GHz * 8核 内存 8GB 存储 4TB 网络带宽 10Mb 账本模型 数据结构 链式结构，区块通过哈希链相连

0+版本的群组特性，详情可以参考此链接。 运维部署工具：企业级用户的区块链管理工具 运维部署工具是为企业用户提供的部署、管理和监控多机构多群组联盟链 的便捷工具。它面向于真实的多机构生产环境，为了保证机构的密钥安 全，运维部署工具提供了一种机构间相互合作部署联盟链方式。 数据治理通用组件：释放数据价值 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳 ）和应用开 发脚手架（SmartDev-Scaffold）。开发者可根据自己的情况自由选择相应 的开发工具，提升开发效率。 系统设计 整体架构 共识算法 交易并行 分布式存储 预编译合约 更多设计文档 更多开源工具 FISCO BCOS企业级金融联盟链底层平台: [GitHub] [https://github.com/FISCO-BCOS/FISCO-BCOS] 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ TPS（PBFT） 交易确认时延 秒级 硬件推荐配置 整体架构 CPU 2.4GHz * 8核 内存 8GB 存储 4TB 网络带宽 10Mb 账本模型 数据结构 链式结构，区块通过哈希链相连

0+版本的群组特性，详情可以参考此链接。 运维部署工具：企业级用户的区块链管理工具 运维部署工具是为企业用户提供的部署、管理和监控多机构多群组联盟链 的便捷工具。它面向于真实的多机构生产环境，为了保证机构的密钥安 全，运维部署工具提供了一种机构间相互合作部署联盟链方式。 数据治理通用组件：释放数据价值 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳 ）和应用开 发脚手架（SmartDev-Scaffold）。开发者可根据自己的情况自由选择相应 的开发工具，提升开发效率。 系统设计 整体架构 共识算法 交易并行 分布式存储 预编译合约 更多设计文档 更多开源工具 FISCO BCOS企业级金融联盟链底层平台: [GitHub] [https://github.com/FISCO-BCOS/FISCO-BCOS] 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ TPS（PBFT） 交易确认时延 秒级 硬件推荐配置 整体架构 CPU 2.4GHz * 8核 内存 8GB 存储 4TB 网络带宽 10Mb 账本模型 数据结构 链式结构，区块通过哈希链相连

0+版本的群组特性，详情可以参考此链接。 运维部署工具：企业级用户的区块链管理工具 运维部署工具是为企业用户提供的部署、管理和监控多机构多群组联盟链 的便捷工具。它面向于真实的多机构生产环境，为了保证机构的密钥安 全，运维部署工具提供了一种机构间相互合作部署联盟链方式。 数据治理通用组件：释放数据价值 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳 和应用开 发脚手架（SmartDev-Scaffold）。开发者可根据自己的情况自由选择相应 的开发工具，提升开发效率。 系统设计 整体架构 共识算法 交易并行 分布式存储 预编译合约 更多设计文档 社区资源 Github主页 [https://github.com/FISCO-BCOS/FISCO-BCOS/tree/master-2.0] 架构模型 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ TPS（PBFT） 交易确认时延 秒级 硬件推荐配置 CPU 2.4GHz * 8核 内存 8GB 存储 4TB 网络带宽 10Mb 账本模型 数据结构 链式结构，区块通过哈希链相连

0+版本的群组特性，详情可以参考此链接。 运维部署工具：企业级用户的区块链管理工具 运维部署工具是为企业用户提供的部署、管理和监控多机构多群组联盟链 的便捷工具。它面向于真实的多机构生产环境，为了保证机构的密钥安 全，运维部署工具提供了一种机构间相互合作部署联盟链方式。 数据治理通用组件：释放数据价值 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳 和应用开 发脚手架（SmartDev-Scaffold）。开发者可根据自己的情况自由选择相应 的开发工具，提升开发效率。 系统设计 整体架构 共识算法 交易并行 分布式存储 预编译合约 更多设计文档 社区资源 Github主页 [https://github.com/FISCO-BCOS/FISCO-BCOS/tree/master-2.0] 架构模型 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ TPS（PBFT） 交易确认时延 秒级 硬件推荐配置 CPU 2.4GHz * 8核 内存 8GB 存储 4TB 网络带宽 10Mb 账本模型 数据结构 链式结构，区块通过哈希链相连

0+版本的群组特性，详情可以参考此链接。 运维部署工具：企业级用户的区块链管理工具 运维部署工具是为企业用户提供的部署、管理和监控多机构多群组联盟链 的便捷工具。它面向于真实的多机构生产环境，为了保证机构的密钥安 全，运维部署工具提供了一种机构间相互合作部署联盟链方式。 数据治理通用组件：释放数据价值 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳 和应用开 发脚手架（SmartDev-Scaffold）。开发者可根据自己的情况自由选择相应 的开发工具，提升开发效率。 系统设计 整体架构 共识算法 交易并行 分布式存储 预编译合约 更多设计文档 社区资源 Github主页 [https://github.com/FISCO-BCOS/FISCO-BCOS/tree/master-2.0] 架构模型 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ TPS（PBFT） 交易确认时延 秒级 硬件推荐配置 CPU 2.4GHz * 8核 内存 8GB 存储 4TB 网络带宽 10Mb 账本模型 数据结构 链式结构，区块通过哈希链相连