分布式KV存储Cellar演进之路 美团点评·基础架构 齐泽斌 美团点评基础架构部，存储研发团队负责人 • Cellar：分布式KV存储服务 • Databus：数据库变更实时传输服务 • Venus：图片服务 11年毕业于天津大学 11 年到 14 年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • 美团引入阿里Tair作为NoSQL存储 • 14年底 大范围应用，并对Tair修修补补，积累领域问题 • 16年初 基于开源版本研发新一代KV存储系统Cellar • Now Cellar日请求量达万亿级，美团点评最大NoSQL存储 Cellar起源 Cellar起源—Tair架构 路由表 Cellar起源—Tair架构 HASH Key 桶号 存储节点 固定HASH算 法 法 固定数目 数据分片 桶->存储节点 对照表 Cellar起源—Tair架构 服务层 请求 mdb 响应 ldb fdb rdb 引擎层 迁移 复制 • 中心化集群问题 • 可用性问题 • 性能问题 • 运维问题 Cellar起源—Tair问题 Cellar起源 架构升级 性能优化 可用性优 化 可运维性 Cellar 开源 Tair • Cellar起源

⾼高可⽤用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ⾃自我介绍 ⾃自我介绍 李李玥 京东集团 技术架构部 架构师 负责主导设计新⼀一代京东消息中间件系统，专注于流数据的⼀一致性分发和可靠存储、分布式实时计算和⾼高可⽤用分 布式系统架构等技术领域。 从事互联⽹网研发、架构10余年年，曾在浪潮集团、当当⽹网等公司从事架构相关⼯工作。2017年年加⼊入京东，期间提升京 如何定位？如何融入生态系统？ How 如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage Storage Data 有序 Append only：尾部写入，不变 顺序读取 分布式 高性能 可靠性 顺序一致性 （近乎）无限容量 我们需要什什么样的存储？ WHAT Pub/Sub Powered by United Stream Store Streaming Connector Distributed Application Coordinating Service

开发第一个区块链应用 • 关键概念 • 区块链网络搭建 • 区块链应用开发 • FISCO BCOS Java SDK • 问题排查 • 整体架构 • 共识算法 • 交易并行 • 分布式存储 • 预编译合约 • 更多设计文档 • Github主页 • 深度解析系列文章 • 贡献代码 • 反馈问题 • 应用案例集 • 微信群 、公众号 • FISCO BCOS企业级金融联盟链底层平台: 富业务场景、扩大业务 规模，且大幅简化链的部署和运维成本。 两翼指的是支持并行计算模型和分布式存储，二者为群组架构带来更好的扩展性。前者改变了区块中按 交易顺序串行执行的做法，基于DAG（有向无环图）并行执行交易，大幅提升性能；后者支持企业（节 点）将数据存储在远端分布式系统中，克服了本地化数据存储的诸多限制。 多引擎是一系列功能特性的总括，比如预编译合约能够突破EVM的性能瓶颈，实现高性能合约；控制台 交易确认时延低、吞吐量 高，并具有最终一致性。其中PBFT和rPBFT可解决拜占庭问题，安全性更高。 • 存储：世界状态的存储从原来的MPT存储结构转为分布式存储，避免了世界状态急剧膨胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网络：支持网络压缩

开发第一个区块链应用 • 关键概念 • 区块链网络搭建 • 区块链应用开发 • FISCO BCOS Java SDK • 问题排查 • 整体架构 • 共识算法 • 交易并行 • 分布式存储 • 预编译合约 • 更多设计文档 • Github主页 • 深度解析系列文章 • 贡献代码 • 反馈问题 • 应用案例集 • 微信群 、公众号 • FISCO BCOS企业级金融联盟链底层平台: 富业务场景、扩大业务 规模，且大幅简化链的部署和运维成本。 两翼指的是支持并行计算模型和分布式存储，二者为群组架构带来更好的扩展性。前者改变了区块中按 交易顺序串行执行的做法，基于DAG（有向无环图）并行执行交易，大幅提升性能；后者支持企业（节 点）将数据存储在远端分布式系统中，克服了本地化数据存储的诸多限制。 多引擎是一系列功能特性的总括，比如预编译合约能够突破EVM的性能瓶颈，实现高性能合约；控制台 交易确认时延低、吞吐量 高，并具有最终一致性。其中PBFT和rPBFT可解决拜占庭问题，安全性更高。 • 存储：世界状态的存储从原来的MPT存储结构转为分布式存储，避免了世界状态急剧膨胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网络：支持网络压缩

开发第一个区块链应用 • 关键概念 • 区块链网络搭建 • 区块链应用开发 • FISCO BCOS Java SDK • 问题排查 • 整体架构 • 共识算法 • 交易并行 • 分布式存储 • 预编译合约 • 更多设计文档 • Github主页 • 深度解析系列文章 • 贡献代码 • 反馈问题 • 应用案例集 • 微信群 、公众号 • FISCO BCOS企业级金融联盟链底层平台: 富业务场景、扩大业务 规模，且大幅简化链的部署和运维成本。 两翼指的是支持并行计算模型和分布式存储，二者为群组架构带来更好的扩展性。前者改变了区块中按 交易顺序串行执行的做法，基于DAG（有向无环图）并行执行交易，大幅提升性能；后者支持企业（节 点）将数据存储在远端分布式系统中，克服了本地化数据存储的诸多限制。 多引擎是一系列功能特性的总括，比如预编译合约能够突破EVM的性能瓶颈，实现高性能合约；控制台 交易确认时延低、吞吐量 高，并具有最终一致性。其中PBFT和rPBFT可解决拜占庭问题，安全性更高。 • 存储：世界状态的存储从原来的MPT存储结构转为分布式存储，避免了世界状态急剧膨胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网络：支持网络压缩

开发第一个区块链应用 • 关键概念 • 区块链网络搭建 • 区块链应用开发 • FISCO BCOS Java SDK • 问题排查 • 整体架构 • 共识算法 • 交易并行 • 分布式存储 • 预编译合约 • 更多设计文档 • Github主页 • 深度解析系列文章 • 贡献代码 • 反馈问题 • 应用案例集 • 微信群 、公众号 平 平 平台 台 台介 介 介绍 绍 富业务场景、扩大业务 规模，且大幅简化链的部署和运维成本。 两翼指的是支持并行计算模型和分布式存储，二者为群组架构带来更好的扩展性。前者改变了区块中按 交易顺序串行执行的做法，基于DAG（有向无环图）并行执行交易，大幅提升性能；后者支持企业（节 点）将数据存储在远端分布式系统中，克服了本地化数据存储的诸多限制。 多引擎是一系列功能特性的总括，比如预编译合约能够突破EVM的性能瓶颈，实现高性能合约；控制台 低、吞吐量 高，并具有最终一致性。其中PBFT和rPBFT可解决拜占庭问题，安全性更高。 • 存 存 存储 储 储：世界状态的存储从原来的MPT存储结构转为分布式存储，避免了世界状态急剧膨胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网 网 网络 络

）和应用开 发脚手架（SmartDev-Scaffold）。开发者可根据自己的情况自由选择相应 的开发工具，提升开发效率。 系统设计 整体架构 共识算法 交易并行 分布式存储 预编译合约 更多设计文档 更多开源工具 FISCO BCOS企业级金融联盟链底层平台: [GitHub] [https://github.com/FISCO-BCOS/FISCO-BCOS] 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ TPS（PBFT） 交易确认时延 秒级 硬件推荐配置 整体架构 CPU 2.4GHz * 8核 内存 8GB 存储 4TB 网络带宽 10Mb 账本模型 数据结构 链式结构，区块通过哈希链相连 链式结构，区块通过哈希链相连 是否分叉 不分叉 记账类型 账户模型（非UTXO） 共识算法 共识框架 可插拔设计 共识算法 PBFT、Raft、rPBFT 存储引擎 存储设计 支持KV和SQL 引擎类型 支持leveldb、rocksdb、mysql CRUD接口 提供CRUD接口访问链上数据 网络协议 节点间通信 P2P协议 客户端与节点通 信 JsonRPC，Channel协议 消息订阅服务

）和应用开 发脚手架（SmartDev-Scaffold）。开发者可根据自己的情况自由选择相应 的开发工具，提升开发效率。 系统设计 整体架构 共识算法 交易并行 分布式存储 预编译合约 更多设计文档 更多开源工具 FISCO BCOS企业级金融联盟链底层平台: [GitHub] [https://github.com/FISCO-BCOS/FISCO-BCOS] 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ TPS（PBFT） 交易确认时延 秒级 硬件推荐配置 整体架构 CPU 2.4GHz * 8核 内存 8GB 存储 4TB 网络带宽 10Mb 账本模型 数据结构 链式结构，区块通过哈希链相连 链式结构，区块通过哈希链相连 是否分叉 不分叉 记账类型 账户模型（非UTXO） 共识算法 共识框架 可插拔设计 共识算法 PBFT、Raft、rPBFT 存储引擎 存储设计 支持KV和SQL 引擎类型 支持leveldb、rocksdb、mysql CRUD接口 提供CRUD接口访问链上数据 网络协议 节点间通信 P2P协议 客户端与节点通 信 JsonRPC，Channel协议 消息订阅服务

）和应用开 发脚手架（SmartDev-Scaffold）。开发者可根据自己的情况自由选择相应 的开发工具，提升开发效率。 系统设计 整体架构 共识算法 交易并行 分布式存储 预编译合约 更多设计文档 更多开源工具 FISCO BCOS企业级金融联盟链底层平台: [GitHub] [https://github.com/FISCO-BCOS/FISCO-BCOS] 一体两翼多引擎 群组架构 支持链内动态扩展多群组 分布式存储 支持海量数据存储 并行计算 支持块内交易并行执行 节点类型 共识节点、观察节点 计算模型 排序-执行-验证 系统性能 峰值TPS 2万+ TPS（PBFT） 交易确认时延 秒级 硬件推荐配置 整体架构 CPU 2.4GHz * 8核 内存 8GB 存储 4TB 网络带宽 10Mb 账本模型 数据结构 链式结构，区块通过哈希链相连 链式结构，区块通过哈希链相连 是否分叉 不分叉 记账类型 账户模型（非UTXO） 共识算法 共识框架 可插拔设计 共识算法 PBFT、Raft、rPBFT 存储引擎 存储设计 支持KV和SQL 引擎类型 支持leveldb、rocksdb、mysql CRUD接口 提供CRUD接口访问链上数据 网络协议 节点间通信 P2P协议 客户端与节点通 信 JsonRPC，Channel协议 消息订阅服务

开发第一个区块链应用 • 关键概念 • 区块链网络搭建 • 区块链应用开发 • FISCO BCOS Java SDK • 问题排查 • 整体架构 • 共识算法 • 交易并行 • 分布式存储 • 预编译合约 • 更多设计文档 • Github主页 • 深度解析系列文章 • 贡献代码 • 反馈问题 • 应用案例集 • 微信群 、公众号 平 平 平台 台 台介 介 介绍 绍 富业务场景、扩大业务 规模，且大幅简化链的部署和运维成本。 两翼指的是支持并行计算模型和分布式存储，二者为群组架构带来更好的扩展性。前者改变了区块中按 交易顺序串行执行的做法，基于DAG（有向无环图）并行执行交易，大幅提升性能；后者支持企业（节 点）将数据存储在远端分布式系统中，克服了本地化数据存储的诸多限制。 多引擎是一系列功能特性的总括，比如预编译合约能够突破EVM的性能瓶颈，实现高性能合约；控制台 低、吞吐量 高，并具有最终一致性。其中PBFT和rPBFT可解决拜占庭问题，安全性更高。 • 存 存 存储 储 储：世界状态的存储从原来的MPT存储结构转为分布式存储，避免了世界状态急剧膨胀导致性 能下降的问题；引入可插拔的存储引擎，支持LevelDB、RocksDB、MySQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网 网 网络 络