第三届中国Rust开发者大会 CnosDB时序数据库的Rust实践 Yongtao Liu CnosDB 研发工程师 Rust China Conf 2023 CnosDB 是一款基于 Rust 开发的 开源的分布式时序数据库 1. CnosDB 架构与选型 2. 为何从 Go 切换到 Rust 3. 使用 Rust 经验分享 4. 反哺社区 1. CnosDB 架构与选型 特性 • 横/纵 向扩展 • 计算存储分离 • 平衡存储性能与成本 • 查询引擎支持矢量化查询 • 兼容多种时序协议 • 可观测性 • 支持云原生 • 原生支持多租户 • 租户Quota可动态配置 • 云边端协同 • 云上生态融合 整体架构 1.2 存储引擎 version_set Vnode IndexEngine DataEngine Scheduler Logical transform Physical transform 1.4基于DataFusion的高性能查询引擎 • 扩展数据源 • 扩展 SQL 语句 • 扩展流处理引擎 • 扩展优化规则 • 扩展时序函数 1.5 分布式 1. Shared nothing 2. Leaderless NRW Peer to peer model

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 操作 生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘

转 CSV 工具 • Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - A Multi-address DSN(Data Source Name) parser. TDengine 应用开发组 • Python/Rust/Go 连接器 • 数据可视化 • 数据库运维工具 • 第三方数据源接入 • BI 系统接入 https://taosdata TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time Series Database ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型  需要建库、建表， VARCHAR(24)) TDengine - 业务模式 开源版 企业版 云服务版 核心功能开源 • SQL 支持 • 无模式写入 • 缓存 • 流计算 • 数据订阅 • 集群、高可用 高可靠、线性扩展 + 专业技术服务 • 边云数据复制 • 跨云 / 异地数据复制 • 增量备份 • 多级存储 • 工业数据接入 全托管时序数据 管理云服务平台 • 全托管服务 • VPC 对等连接

Sync，那么可以安全的在线程间共享 T ● Rust 的类型推导系统和编译检查跨线程传递和共享的对象 是否满足 Send + Sync TiKV ● 大规模分布式 Key-Value 数据库 ● 支持 ACID 跨行事务支持 ● 支持 MVCC 无锁的快照读 ● 构建于 Raft 之上，不依赖分布式文件系统 ○ 更少的第三方依赖 ○ 更高的性能（低延迟） ● 配合 TiDB 有足够的工具和范式开发高性能、健壮的、可扩展的后端服务程序 ● 大多数常用包都达到 1.0 的稳定性 ● ... 总结 ● Rust 是门好语言，可以简单类比成更现代的 C++ ○ 更少的代码写出更安全的程序 ○ 代价是早期更高的学 习成本 ● 解决问题的架构和范式万变不离其宗 ○ 并不是靠换个语言重写一遍就解决问题 ● TiKV 是一个性能极高且极其稳定的新一代分布式 kv 数据库 :) 谢谢 Q

现许多高级功能，包括 但不限于： * 项目/软件包结构 * 工作区 * 开发依赖和运行时依赖管理/缓存 * 构建脚本 * 全局安装 * 它还可以使用子命令插件（例如 cargo clippy）进行扩展。 – 详情请参阅 官方 Cargo Book 2.2 本培训中的代码示例 在本培训中，我们将主要通过示例探索 Rust 语言，这些示例可以通过浏览器执行。这能大大简化配置过 程，并确保所有人都能获得一致的体验。 single set of parameter types. These types can be generic, which will be covered later. 6.6 宏 宏在编译过程中会扩展为 Rust 代码，并且可以接受可变数量的参数。它们以! 结尾来进行区分。Rust 标 准库包含各种有用的宏。 • println!(format, ..) prints a line to standard main() { let n = 4; println!("{n}! = {}", factorial(n)); } 这一节的要点是介绍这些常见的便捷功能以及如何使用它们。而为何将它们定义为宏以及它们可以扩展 33 为什么内容，并不是特别关键。 本课程不会介绍如何定义宏，但在后续部分会介绍派生宏的用法。 6.7 练习：考拉兹序列 The Collatz Sequence is defined as

Interoperation 5. Web3 RPC（以太坊兼容） 6. Storage (KV 数据库) 7. Executor 主要模块 • 高复杂性，组件和子系统较多，相互依赖和交互，整体结构和逻辑非常复杂，开发、 测试、调试难度大 • 可维护性，开发完成后，各个模块需要维护、升级和改进 • 可扩展性 • 高性能 • 高并发 • 高可靠性 • 代码管理 • … 大型项目的开发难点

Substrate ● Libra Rust in blockchain Why blockchain? 后端： ● 开发语言：Java, Ruby ● 框架：Spring，Rails ● 数据库：Postgres， MySQL ● 自动化测试 ● CI / CD ● 部署云服务：AWS，阿里云 web 2.0 开发 前端：HTML, Javascript, CSS ● React application chain app chain特点： ● Runtime 安全有开发者完全负责 ● 获取链上所有状态 ● 高度定制化，包括共识，通证，交易 方式 一个开源、模块化、可扩展的区块链开 发框架，涵盖了区块链的核心组件： ● Database layer ● P2P ● PoS ● Transaction pool ● Full / light client ●

的表示方式包含指数位，导致其取值范围远大于 int 。根据以上计算， float 可表示的最大正数为 2254−127 × (2 − 2−23) ≈ 3.4 × 1038 ，切换符号位便可得到最小负数。 尽管浮点数 float 扩展了取值范围，但其副作用是牺牲了精度。整数类型 int 将全部 32 比特用于表示数字， 数字是均匀分布的；而由于指数位的存在，浮点数 float 的数值越大，相邻两个数字之间的差值就会趋向越 大。 换行符和制表符）。 图 3‑6 ASCII 码 然而，ASCII 码仅能够表示英文。随着计算机的全球化，诞生了一种能够表示更多语言的 EASCII 字符集。它 在 ASCII 的 7 位基础上扩展到 8 位，能够表示 256 个不同的字符。 在世界范围内，陆续出现了一批适用于不同地区的 EASCII 字符集。这些字符集的前 128 个字符统一为 ASCII 码，后 128 个字符定义不同，以适应不同语言的需求。 1980 年发布了 GB2312 字符集，其收录了 6763 个汉字，基本满足了汉字的 计算机处理需要。 然而，GB2312 无法处理部分罕见字和繁体字。GBK 字符集是在 GB2312 的基础上扩展得到的，它共收录了 21886 个汉字。在 GBK 的编码方案中，ASCII 字符使用一个字节表示，汉字使用两个字节表示。 第 3 章 数据结构 hello‑algo.com 61 3.4.3

的表示方式包含指数位，导致其取值范围远大于 int 。根据以上计算， float 可表示的最大正数为 2254−127 × (2 − 2−23) ≈ 3.4 × 1038 ，切换符号位便可得到最小负数。 尽管浮点数 float 扩展了取值范围，但其副作用是牺牲了精度。整数类型 int 将全部 32 比特用于表示数字， 数字是均匀分布的；而由于指数位的存在，浮点数 float 的数值越大，相邻两个数字之间的差值就会趋向越 大。 换行符和制表符）。 图 3‑6 ASCII 码 然而，ASCII 码仅能够表示英文。随着计算机的全球化，诞生了一种能够表示更多语言的 EASCII 字符集。它 在 ASCII 的 7 位基础上扩展到 8 位，能够表示 256 个不同的字符。 在世界范围内，陆续出现了一批适用于不同地区的 EASCII 字符集。这些字符集的前 128 个字符统一为 ASCII 码，后 128 个字符定义不同，以适应不同语言的需求。 1980 年发布了 GB2312 字符集，其收录了 6763 个汉字，基本满足了汉字的 计算机处理需要。 然而，GB2312 无法处理部分罕见字和繁体字。GBK 字符集是在 GB2312 的基础上扩展得到的，它共收录了 21886 个汉字。在 GBK 的编码方案中，ASCII 字符使用一个字节表示，汉字使用两个字节表示。 第 3 章 数据结构 www.hello‑algo.com 61 3

的表示方式包含指数位，导致其取值范围远大于 int 。根据以上计算， float 可表示的最大正数为 2254−127 × (2 − 2−23) ≈ 3.4 × 1038 ，切换符号位便可得到最小负数。 尽管浮点数 float 扩展了取值范围，但其副作用是牺牲了精度。整数类型 int 将全部 32 比特用于表示数字， 数字是均匀分布的；而由于指数位的存在，浮点数 float 的数值越大，相邻两个数字之间的差值就会趋向越 大。 （如换行符和制表符）。 图 3‑6 ASCII 码 然而，ASCII 码仅能够表示英文。随着计算机的全球化，诞生了一种能够表示更多语言的「EASCII」字符 集。它在 ASCII 的 7 位基础上扩展到 8 位，能够表示 256 个不同的字符。 在世界范围内，陆续出现了一批适用于不同地区的 EASCII 字符集。这些字符集的前 128 个字符统一为 ASCII 码，后 128 个字符定义不同，以适应不同语言的需求。 1980 年发布了「GB2312」字符集，其收录了 6763 个汉字，基本满足了汉 字的计算机处理需要。 然而，GB2312 无法处理部分罕见字和繁体字。「GBK」字符集是在 GB2312 的基础上扩展得到的，它共收录 了 21886 个汉字。在 GBK 的编码方案中，ASCII 字符使用一个字节表示，汉字使用两个字节表示。 第 3 章 数据结构 hello‑algo.com 61 3.4.3