分布式KV存储Cellar演进之路 美团点评·基础架构 齐泽斌 美团点评基础架构部，存储研发团队负责人 • Cellar：分布式KV存储服务 • Databus：数据库变更实时传输服务 • Venus：图片服务 11年毕业于天津大学 11 年到 14 年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • 美团引入阿里Tair作为NoSQL存储 • 14年底 大范围应用，并对Tair修修补补，积累领域问题 • 16年初 基于开源版本研发新一代KV存储系统Cellar • Now Cellar日请求量达万亿级，美团点评最大NoSQL存储 Cellar起源 Cellar起源—Tair架构 路由表 Cellar起源—Tair架构 HASH Key 桶号 存储节点 固定HASH算 法 法 固定数目 数据分片 桶->存储节点 对照表 Cellar起源—Tair架构 服务层 请求 mdb 响应 ldb fdb rdb 引擎层 迁移 复制 • 中心化集群问题 • 可用性问题 • 性能问题 • 运维问题 Cellar起源—Tair问题 Cellar起源 架构升级 性能优化 可用性优 化 可运维性 Cellar 开源 Tair • Cellar起源

⾼高可⽤用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ⾃自我介绍 ⾃自我介绍 李李玥 京东集团 技术架构部 架构师 负责主导设计新⼀一代京东消息中间件系统，专注于流数据的⼀一致性分发和可靠存储、分布式实时计算和⾼高可⽤用分 布式系统架构等技术领域。 从事互联⽹网研发、架构10余年年，曾在浪潮集团、当当⽹网等公司从事架构相关⼯工作。2017年年加⼊入京东，期间提升京 如何定位？如何融入生态系统？ How 如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage Storage Data 有序 Append only：尾部写入，不变 顺序读取 分布式 高性能 可靠性 顺序一致性 （近乎）无限容量 我们需要什什么样的存储？ WHAT Pub/Sub Powered by United Stream Store Streaming Connector Distributed Application Coordinating Service

图神经网络计算引擎、框架和平台的系统架构 70 > 2022年美团技术年货 （1）图以及深度学习引擎 我们把图神经网络的底层算子分为三类：图结构查询、稀疏张量计算和稠密张量计 算。我们开发了图计算库 MTGraph 提供图数据的存储和查询功能，深度优化了内存 占用和子图采样速度。MTGraph 兼容 PyTorch 和 DGL，用户可以在 MTGraph 的 基础上直接编写基于 DGL 的模型代码。 （2）Tulong 框架 ，提供相应工具提升开发效率： ● 数据集管理：从业务数据构造图是模型开发的第一步，图学习平台提供基于 Spark 的构图功能，可以将 Hive 中存储的业务数据转化为 Tulong 自定义的 图数据格式。业务数据经常以事件日志的方式存储，如何从中抽象出图，有大 量的选择。例如，在推荐场景中，业务日志包含用户对商家的点击和下单记 录，除了把”用户 - 点击 - 商家”的事件刻画为图以外，还可以考虑刻画短时 POI-Embedding 聚合操作，得到行为 POI 的子图 Embedding。灌库阶段，将长 期行为子图 POI 的 Embedding 和其他特征的 Embedding 写入 Redis 存储中。 ● Step3. 对联合训练的模型进行重构导出生成新的线上 Serving 模型 将长期行为“子图扩展的行为图模块”中子图聚合计算重构为直接查询 Embedding 表征，线上从 Step2

num=0time:1533887334119 使用指南 区块链节点 证书说明 合约入门 系统合约 基本操作 控制台 区块链节点 节点是区块链上的执行单元。多个节点彼此连接，构成一个P2P网络，承载了 区块链上的通信，计算和存储。节点入网后（加入联盟），成为区块链上的一 个共识单位。多个节点参与共识，确保了区块链上交易的一致。 节点文件目录、分类 FISCO-BCOS的节点包含了下列必要的文件。此处不列举节点在运行时生成的 dk与节点通信的凭证，机构生成sdk证 书，允许sdk与节点进行通信。 因此，需要生成链证书、机构证书、节点证书，sdk证书。文件后缀介绍如 下： 后缀 说明 .key 私钥 .srl 文件存储序列号 .csr 证书请求文件 .crt Certificate 证书 .pubkey 公钥 .private 私钥.key编码得到 .p12 PKCS#12格式来储存密钥 .keystore node.serial 节点序列号 SDK： sdk管理sdk私钥。 ca.crt 链证书 clent.keysotre 用做web3sdk的SSL证书 keystore.p12 用pkcs#12存储的密钥 sdk.crt sdk证书 sdk.csr sdk证书请求文件 sdk.key sdk私钥 sdk.private sdk私钥编码得到 sdk.pubkey sdk公钥 证书生成流程：

试点实施 效果评估 经验固化 目标设定 培 训 （ 理 论 、 案 例 、 实 战 演 练 ） 应用管理平台（CAS） 生命周期管理 部署/卸载 启动/停止 升级/回滚 灰度发布 弹性伸缩 微服务运维 应用告警 日志分析 全链路拓扑 SQL分析 调用链 立体监控 方法追踪 事务洞察 微服务治理 负载均衡 限流/降级 熔断/容错 错误注入 黑白名单 微服务管理 Mesher 统计报表服务 微服务注册中心 灵活扩展 应用零改造 微服务化 快速迭代，加 快上线速度 非侵入式接入微服务 PHP应用接入微服务治理 “更新就停机”变为 “随时更新维护” 弹性伸缩，成本可控 提升整体性能 servicecomb.apache.org github.com/apache?q=servicecomb 应用 市场 游戏中 心 视频 阅读 音乐 天际通 架构不统一，有使用SpringCloud、Dubbo、Servlet等各 种架构，维护成本非常高 大系统小做缩短上线周期 • 快速、小批量交付价值需求 • 上线周期： 月 -> 周/天 动态自治降运维成本 • 弹性伸缩、故障自动迁移、 降级熔断，提升复杂分布 式系统运维效率 华为消费者云服务全微服务化的基础底座， 实现运营更敏捷 servicecomb.apache.org github.com/apache

效率 云原生-程序员视角 基础设施 K8s 云原生生态（CNCF） 云原生应用 云原生是以容器技术为基础围绕着Kubernetes进行的一场技术标准化演进。通过标准可扩展的调度，网络， 存储，容器运行时接口来提供基础设施；通过标准可扩展的声明式资源和控制器来提供运维能力。两层标 准化推进了细化的社会分工，各领域进一步提升规模化和专业化，全面达到成本，效率，稳定性的优化。 4 6 7 负载均衡 标签 流量 组件 日志 指标 容量 服务 依赖 路由规则 持久卷 部署策略 健康检查 … 灰度 发布 定时弹性 事件 指标弹性 分批发布 重启 回滚 日志管理 事件中心 指标监控 存储挂载 服务绑定 手动弹性 回退历史 负载均衡 报警 诊断 组件管理 服务治理 … 权限 K8s Istio Envoy Tekton Argo manager KEDA controller Flagger controller Prom- controller Istio- controller … 部署 控制器 弹性 控制器 流量 控制器 存储 控制器 负载均衡 控制器 限流降级 控制器 监控 控制器 … 应用模型 控制器 平台应用模型 平台特定业务 用户应用模型 云原生生态 EDAS 1、应用管理策略

APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 4.1 数据层 4.1 数据层 数据层作为最底层的数据存储，其保存了最基本的运营后台数据、流程数据和线上数据。对持久化的数 据，我们采用MySQL进行存储；对于缓存数据，我们采用了Redis的解决方案。这样数据层形成基本的两 级存储结构：MySQL保证了数据的持久性，Redis保证了数据获取的速度。 这里我们对底层数据划分为三个不同域：后 通过后，数据同步到线上数据，最终C端用户获取到的数据都是来源于线上数据。 谈到数据层，这里我们遇到了存储上的一个小问题。按城市运营的每条数据，都需要存储具体的城市ID列 表，其在数据库里的存储为 “1,2,3,4…… ”这样字符串。而这种数据存储在业务请求和条件过滤过程中， 存在着如下两个问题： a. 大数据存储对内存的消耗 a. 大数据存储对内存的消耗 美团、大众点评运营的城市成千上万，如果每条运营的投放数据都包含大量的城市列表信息，对机器内存 中只需要通过BitSet的get机 APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 制就可以判断运营投放的城市是否包含了用户所在的城市。通过BitSet机制，我们既解决了大数据存储对 内存的消耗问题，又解决了城市过滤的性能问题。 4.2 服务层 4.2 服务层 服务层向下对底层数据进行操作；向上为接入层获取数据提供接入能力。其提供四个服务能力：运营后 台、开放平台、数

电子凭证 工作流 标准存储 数据交换 …… 财政微应用 预算 编制 指标 管理 …… 财务微应用 会计 核算 项目 库 …… 统一基础 数据规范 统一财政 业务数据 标准存储 统一应用 支撑平台 总账结构 统一纵向 层级交换 机制 统一信息 安全体系 软件开发服务 ServiceStage 大数据服务 系统集成服务 IaaS（计算、存储、网络、安全） 中间件服务 百级TPS、秒级时延 万级TPS、毫秒级时延 月级上线 （>2月） 运维效率提升 人工定位 问题定位时间缩短3倍 微服务化后 案例：助力某无人机企业打造智慧控制大脑 新功能上线 月 -> 天 弹性伸缩 秒级 AI 新生报到人脸识别 教务系统 科研系统 人事系统 … 独立烟囱 (12个) 云容器引擎，微服务引擎，EI服务 微服务公共组件 数据平台 教学 科研 人事 … 案例：助力某大学教学管理信息系统上云 架构不统一，有使用SpringCloud、传统RPC、 Servlet等各种架构，维护成本非常高 大系统小做，缩短上线周期 • 快速、小批量交付价值需求 • 上线周期： 月 -> 周/天 动态自治降运维成本 • 弹性伸缩、故障自动迁 移、降级熔断，提升复 杂分布式系统运维效率 系统性能大幅提升 • QPS提升2倍+ • 时延降低45% • CPU使用率下降56% 全自动化微服务流水线 • 个人、团队、项目组三级

stock=(incrby stock –X)� if (stock<0){incrby stock X;}� else { //submit}� 数据竞争� [NoSql方案示例2] 存储+运算，一致性保证 高可用措施保障 兜底策略 Redis+(lua/module)方案： local stock = redis.call("GET","STOCK") 过载保护 丢车保帅 容量水位线 底线 多节点有序参与 智能DNS，DNS负载均衡 限流(limit,lua)，openresty，4层/7层LB 弹性扩容，限流(token)，熔断，防刷 降级，熔断，弹性扩容 多IDC，区域容灾，多ISP 集群，高可用，分片 本地缓存，防刷，流控 终端 域名 机房 LB / NG.. 网关 Cache 服务 抓大不能放小[细节决定成败] prometheus… apm工具，商业产品 期望更轻量、无侵入性的业务监控 cat，elk，zipkin等 趋于个性 具有共性 中间件/缓存/数据库/代理/MQ... OS/网络/存储/防火墙... 应用/框架/业务逻辑/系统间调用 自研日志监控[轻量无侵入] Kafka Kafka Spout 策略 Cache 系统配置 预处理bolts Data Filter

选举TDPOS候选人 2.4. 常见问题 3. 创建合约 3.1. 编写合约 3.2. 部署wasm合约 3.3. 部署native合约 4. 发起提案 5. 配置变更 5.1. 配置多盘存储 5.2. 替换扩展插件 6. 使用平行链与群组 6.1. 创建平行链 6.2. 获取group_chain合约 6.3. 创建群组 7. 使用事件订阅功能 7.1. 事件订阅的接口 7.2 重累计、集合运算等灵活的 策略。 XuperChain架构 2. 模块 模块 特性 存储 XuperChain的底层存储基于KV数据库，存储的数据包括区块数 据、交易数据、账号 余额、DPOS投票数据、合约账号数据、智能 合约数据等，上链的数据全部持久化到底 层存储。不同的链，存 储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 sign,bob.sign 1. XuperModel XuperChain能够支持合约链内并行的很大的原因是由于其底层自研的 XuperModel数据模型。 XuperModel是一个带版本的存储模型，支持读写集生成。该模型是比特币utxo 模型的一个演变。在比特币的utxo模型中，每个交易都需要在输入字段中引用 早期交易的输出，以证明资金来源。同样，在XuperModel中，每个事务读取的