分布式KV存储Cellar演进之路 美团点评·基础架构 齐泽斌 美团点评基础架构部，存储研发团队负责人 • Cellar：分布式KV存储服务 • Databus：数据库变更实时传输服务 • Venus：图片服务 11年毕业于天津大学 11 年到 14 年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • 美团引入阿里Tair作为NoSQL存储 • 14年底 大范围应用，并对Tair修修补补，积累领域问题 • 16年初 基于开源版本研发新一代KV存储系统Cellar • Now Cellar日请求量达万亿级，美团点评最大NoSQL存储 Cellar起源 Cellar起源—Tair架构 路由表 Cellar起源—Tair架构 HASH Key 桶号 存储节点 固定HASH算 法 法 固定数目 数据分片 桶->存储节点 对照表 Cellar起源—Tair架构 服务层 请求 mdb 响应 ldb fdb rdb 引擎层 迁移 复制 • 中心化集群问题 • 可用性问题 • 性能问题 • 运维问题 Cellar起源—Tair问题 Cellar起源 架构升级 性能优化 可用性优 化 可运维性 Cellar 开源 Tair • Cellar起源

⾼高可⽤用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ⾃自我介绍 ⾃自我介绍 李李玥 京东集团 技术架构部 架构师 负责主导设计新⼀一代京东消息中间件系统，专注于流数据的⼀一致性分发和可靠存储、分布式实时计算和⾼高可⽤用分 布式系统架构等技术领域。 从事互联⽹网研发、架构10余年年，曾在浪潮集团、当当⽹网等公司从事架构相关⼯工作。2017年年加⼊入京东，期间提升京 如何定位？如何融入生态系统？ How 如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage Storage Data 有序 Append only：尾部写入，不变 顺序读取 分布式 高性能 可靠性 顺序一致性 （近乎）无限容量 我们需要什什么样的存储？ WHAT Pub/Sub Powered by United Stream Store Streaming Connector Distributed Application Coordinating Service

CN) 构建 -r[:stream_specifier] fps (input/output,per-stream) ：设置帧率（一种Hz值，缩写或者分数 值）。 在作为输入选项时，会忽略文件中存储的时间戳和时间戳而产生的假设恒定帧率 fps ，即强制 按设定帧率处理视频产生（快进/减缓效果）。这不像 -framerate 选项是用来让一些输入文件格 式如image2或者v412(兼容 -s[:stream_specifier] size (input/output,per-stream) ：设置帧的尺寸。 当作为输入选项时，是私有选项 video_size 的缩写，一些文件没有把帧尺寸进行存储，或者设 备对帧尺寸是可以设置的，例如一些采集卡或者raw视频数据。 当作为输出选项是，则相当于 scale 滤镜作用在滤镜链图的最后。请使用 scale 滤镜插入到 开始或者其他地方。 格式字符串(其值就是num/den)，例 如”4:3”,”16:9”,”1.3333”以及”1.7777”都是常用参数值。 如果还同时使用了 -vcodec copy 选项，它将只影响容器级的长宽比，而不是存储在编码中的帧 纵横比。 -vn (output) ：禁止输出视频 -vcodec codec (output) ：设置视频编码器，这是 -codec:v 的一个别名。 -pass[:stream_specifier]

.................................................................................... 55 5.3 浮点加载，存储和算术指令 ............................................................................................. 章介绍了RV32C。RV32G表示RISC-V扩展（RV32M，RV32F，RV32D和RV32A）的流行组合，正确称 为RV32IMAFD。[Waterman 2016] 程序大小 程序越小，存储它所需的芯片面积就越小(这对于嵌入式设备来说可能是一个巨大 的成本)。实际上，这个问题促使 ARM 架构师在 Thumb 和 Thumb-2 ISA 中追加了一些更短 的指令。更小的程序还能减少指令 节）对于向后二进制兼容性的要求，数百条新的 x86-32 指令比预期要长。它们有着 一到两个字节长前缀的负担，这迫使它们使用原始 x86 的有限的空余操作码空间。 易于编程/编译/链接 由于寄存器中的数据访问起来要比存储器中的快得多，编译器在寄存 器分配方面一定要做得很好。这件事在有许多寄存器的时候变得更加容易。鉴于这一点， ARM-32 有 16 个寄存器，而 x86-32 只有 8 个。大多数现代 ISA（包括

型（复合数据类型）在内存中存放的是指向该数据的地址，不是数据值本身。引用数 据类型包括类、数组、接口等。 数据类型的基本要素包括： • 数据的性质（数据结构） • 数据的取值范围（字节大小） • 数据的存储方式 • 参与的运算 整型 Java 整型类型的数据位数及取值范围如表2.1所示。 表 2.1 整型数据类型 类型 数据位数 取值范围 byte（字节型） 8 −128 ∼ 127，即 −27 逻辑型又称为布尔型（boolean），布尔型数据类型的特性如下： • 布尔型数据只有 true（真）和 false（假）两个取值。 • 布尔型数据存储占 1 个字节，默认取值为 false。 • 布尔型数据 true 和 false 不能转换成数字表示形式。 字符型 • 字符型数据类型用来存储单个字符，采用的是 Unicode 字符集编码方案1。 • 字符声明用单引号表示单个字符。 • 字符型数据可以转化为整型。 终止当前这一轮（次）的循环，进入下一轮（次）循环。 return 语句 用来使程序从方法（函数）中返回，可返回一个值。 2.3 课后习题 . O 简答题 1. Java 语言定义类哪些基本数据类型？其存储结构分别是什么样的？ 2. 自动类型转换的前提是什么？转换时的优先级顺序如何？ 3. 数字字符串转换为数值类型数据时，可以使用的方法有哪些？ . O 小编程 1. 编写程序，从键盘输入一个浮点数，然后将该浮点数的整数部分输出。

“Rep_p4.block.0.rbr_reparam” 层为例，给出其特征图数值分布直方图，我们发 现其数值广泛分布在 [0, 57] 的区间内。显然，采用现有的 INT8 量化方法，无论怎样选 择量化缩放参数 （scale），都会产生较大的量化误差。 图 2 YOLOv6 网络使用 RepVGGBlock 和 RepOptBlock 版本的单层激活值数据分布 为解决这一问题，RepOpt 提出了一种基于优化器的重参数化设计（如下图 图神经网络计算引擎、框架和平台的系统架构 70 > 2022年美团技术年货 （1）图以及深度学习引擎 我们把图神经网络的底层算子分为三类：图结构查询、稀疏张量计算和稠密张量计 算。我们开发了图计算库 MTGraph 提供图数据的存储和查询功能，深度优化了内存 占用和子图采样速度。MTGraph 兼容 PyTorch 和 DGL，用户可以在 MTGraph 的 基础上直接编写基于 DGL 的模型代码。 （2）Tulong 框架 ，提供相应工具提升开发效率： ● 数据集管理：从业务数据构造图是模型开发的第一步，图学习平台提供基于 Spark 的构图功能，可以将 Hive 中存储的业务数据转化为 Tulong 自定义的 图数据格式。业务数据经常以事件日志的方式存储，如何从中抽象出图，有大 量的选择。例如，在推荐场景中，业务日志包含用户对商家的点击和下单记 录，除了把”用户 - 点击 - 商家”的事件刻画为图以外，还可以考虑刻画短时

核⼼扩展功能开发。 FFmpeg KS [数据帧/数据包] AVFrame⽤于存储原始⾳视频数据、也包含字幕数据。 原始数据是指：解码后数据、或是编码前的数据。 ⾳频：⼀段原始WAV（或未压缩的PCM）⾳频数据。 视频：⼀帧图像、⼀个图⽚。 字幕：⼀个时间段内的⼀句或是⼏句话。 AVPacket⽤于存储字节流数据，包含⾳视频、字幕、附件信息等等。 字节流数据是指：编码后数据、或是解码前数据、或是要封装的数 AVOutputFormat容器封装的实现功能类对象。 例如：⽣成⼀个MP4⽂件，就需要⼀个MP4容器封装对象来实现功能。 AVFormatContext容器的数据类对象。 例如：读写MP4⽂件时，数据的存储对象。 AVStream容器内数据流对象，属于抽象对象。 主要概念：数据流、时间轴等。 ● AVStream是数据流，它的基本成员有codec，context，，时长，总帧 数，帧率（fps分数）/码率，metadata等等。 IO协议 流 包 帧 原始数据 FFmpeg KS [原始⾳视频数据格式转换] SwsContext⾊彩空间转换对象。 是数据和功能函数统⼀的⼀个对象。 1.可以修改图像分辨率（缩放、拉伸功能）。 2.⾊彩空间转换（yuv-rgb-gray）。 SwrContext⾳频重采样转换对象。 是数据和功能函数统⼀的⼀个对象。 1.采样深度。 2.采样频率。 3

return '你之前给我发过消息' session['first'] = True return '你之前没给我发过消息' Session 功能默认开启， 并使用 SQLite 存储 Session 数据。 详情请参考 Session 文档 创建自定义菜单 自定义菜单能够帮助公众号丰富界面，让用户更好更快地理解公众号的功能。 werobot.client.Client 封装了微信的部分 的要求编写好 config.yaml 文件就可以了。 可以参考 示例仓库 [https://github.com/whtsky/WeRoBot-SAE-demo] 如果你希望使用 SAE 提供的 KVDB 存储 Session 数据， 可以选择 werobot.session.saekvstorage 作为你的 Session Storage. © 版权所有 2016, whtsky. 由 Sphinx 开启/关闭 Session Session 在 WeRoBot 中默认开启， 并使用 werobot.session.sqlitestorage.SQLiteStorage 作为存储后端。 如果想要更换 存储后端， 可以修改 Config 中的 SESSION_STORAGE from werobot import WeRoBot from werobot.session.filestorage

return '你之前给我发过消息' session['first'] = True return '你之前没给我发过消息' Session 功能默认开启， 并使用 SQLite 存储 Session 数据。 详情请参考 Session 文档 创建自定义菜单 自定义菜单能够帮助公众号丰富界面，让用户更好更快地理解公众号的功能。 werobot.client.Client 封装了微信的部分 的要求编写好 config.yaml 文件就可以了。 可以参考 示例仓库 [https://github.com/whtsky/WeRoBot-SAE-demo] 如果你希望使用 SAE 提供的 KVDB 存储 Session 数据， 可以选择 werobot.session.saekvstorage 作为你的 Session Storage. © 版权所有 2016, whtsky. 由 Sphinx 开启/关闭 Session Session 在 WeRoBot 中默认开启， 并使用 werobot.session.sqlitestorage.SQLiteStorage 作为存储后端。 如果想要更换 存储后端， 可以修改 Config 中的 SESSION_STORAGE from werobot import WeRoBot from werobot.session.filestorage

return '你之前给我发过消息' session['first'] = True return '你之前没给我发过消息' Session 功能默认开启， 并使用 SQLite 存储 Session 数据。 详情请参考 Session 文档 创建自定义菜单 自定义菜单能够帮助公众号丰富界面，让用户更好更快地理解公众号的功能。 werobot.client.Client 封装了微信的部分 的要求编写好 config.yaml 文件就可以了。 可以参考 示例仓库 [https://github.com/whtsky/WeRoBot-SAE-demo] 如果你希望使用 SAE 提供的 KVDB 存储 Session 数据， 可以选择 werobot.session.saekvstorage 作为你的 Session Storage. © 版权所有 2016, whtsky. 由 Sphinx 开启/关闭 Session Session 在 WeRoBot 中默认开启， 并使用 werobot.session.sqlitestorage.SQLiteStorage 作为存储后端。 如果想要更换 存储后端， 可以修改 Config 中的 SESSION_STORAGE from werobot import WeRoBot from werobot.session.filestorage