第三届中国Rust开发者大会 CnosDB时序数据库的Rust实践 Yongtao Liu CnosDB 研发工程师 Rust China Conf 2023 CnosDB 是一款基于 Rust 开发的 开源的分布式时序数据库 1. CnosDB 架构与选型 2. 为何从 Go 切换到 Rust 3. 使用 Rust 经验分享 4. 反哺社区 linker=$gcc_prefix-gcc 指示rustc采用的C链接器程序 cross 提供了 “零设置” 的交叉编译 rust crate 它提供了一个环境、交叉工具链和交叉编译库，可以生成最便携的二进制文件 3.4 Rust 交叉编译 1. IO 异步化  平台兼容性  隔离阻塞 IO 异步化 2. io_uring  性能有40%提高 3.5

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘

.............................................................................. 278 12.4. 采用测试驱动开发完善库的功能 ................................................................................ 293 12.5. 处理环境变量 的内容 ............................................................................... 349 14.1. 采用发布配置自定义构建 ........................................................................................... 350 14 安装二进制文件 ........................................................................... 368 14.5. Cargo 自定义扩展命令 ..............................................................................................

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 12.4. 采用测试驱动开发完善库的功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 14.1. 采用发布配置自定义构建 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317 14.5. Cargo 自定义扩展命令 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Re-exporting....................................................................... 14 1.2.6 加载外部库......................................................................... 14 1.2.7 prelude........ . 57 5.2.2 依赖的详细配置： ................................................................ 58 5.2.3 自定义编译器配置 ................................................................ 58 5.2.4 feature 段落....... rust调用 ffi函数 .................................................................. 68 6.3.2 将 rust 编译成库 .................................................................. 71 6.4 堆，栈，BOX................

. . . . . . . . . . . . . . . . . . . . . . . . 78 IV 第二天：下午 79 15 Welcome Back 80 16 标准库类型 81 16.1 标准库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 16.2 文档 . use、super、self . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148 26.5 练习：面向 GUI 库的模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 26.5.1 解答 . . . . . . . . . . . 33.1 Rust 二进制文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 33.2 Rust 库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 34 AIDL 191 34.1 /**

代码质量高，使用简单，但是没有 AoSoA类型，跨端确定性难以保证 nalgebra 过于复杂，大量的泛型导致使用 不便，代码质量一般 其余开源 crates 完成度不高 Rust 开源数学库的痛点 写好数学库并不容易 • 充分利用目标平台指令集 – 大量的针对目标平台的SIMD优化 • 数学计算本质上是类似的 – 大量的相似代码 • Portable SIMD unstable • 影响跨端确定性的因素太多了 motphys-math 为高性能物理引擎量 身定制 增加了 AoSoA 类型， 并做了大量 SIMD 优化 增加了跨端确定性模 式 保证所有设备浮点计算结果 完全一致 性能超越目前开源的 Rust基础数学库 glam nalgebra ultraviolet Generic, procedure macro, or… Generic 表达力不足 不容易做精细性能优化 Procedure Macro protobuf/msgpack/… • 跨语言协议 • 需要额外定义数据结构 • Pure Rust • 我们不需要跨语言 • 复用已有的数据结构 Point/Vector… • derive serde • 可自定义serializer/deserializer，灵活度高 • Pure rust win Pure Rust message 为了低延迟 • 序列化 • 不考虑版本兼容性 • 不带字段描述信息

HTTP 协议 借助于 Rust 异步能力的热门 Rust HTTP 协议库或应用库： Hyper reqwest actix-web axum Rust China Conf 2022 – 2023, Shanghai, China Rust 与 HTTP 协议 hyper 是一个高效且功能完整的 HTTP 协议底层库，可以支持高层的应用软件使用 HTTP 协议。 ✓ Rust 异步实现 Rust China Conf 2022 – 2023, Shanghai, China Rust 与 HTTP 协议 reqwest 是基于 hyper 实现的高性能、易用的 HTTP 客户端库。 ✓ Rust 异步实现 ✓ 支持明文、JSON、Multipart 的 body 类型 ✓ 支持 HTTP Proxy ✓ 支持 HTTPS ✓ 支持 Cookies Rust China body 自动解压缩 ✓ 支持 multipart Rust China Conf 2022 – 2023, Shanghai, China Rust 与 HTTP 协议 以上 Rust HTTP 库主要支持的场景特点： ➢ 并发量、吞吐量需求较高 ➢ 网络环境稳定 ➢ 不太需要体现交互界面 ➢ 不太关注资源使用 比较适合构建浏览器、大型 WEB 服务器等。 终端 HTTP 通信场景浅析

UDF 对数据和系 统产生破坏。与解释执行的 UDF 相比,WASM 作为二进制格式可以获得更高的运行性能。 WASM 中 IO 阻塞问题 WASM 使用场景和问题 在 WASI 和 一些用户自定义的 Host function 中，难免存在一些如网络服务的阻塞行为。当在 tokio 之类的 async runtime 中执行一些特别的 WASM 时就会遇到 WASM 阻塞 tokio 最终导致服务不可用的情况。 function 包装成自定义 Future。 • 实现简单 利用本身 Async 机制 优点 • 方案不通用（wasm 局限于某一种语言） • 无法与现有生态配合 缺点 Async 的 Wasm 基于 fiber / ucontext Async Wasm 解决方案 wasmtime-fiber 是一个通过内联汇编，保存当前寄存 器和栈数据来实现有栈协程的 rust 库。 wasmtime-fiber wasmtime-fiber Ucontext 和 fiber 功能相同，但是 linux 的系统库。 ucontext 执行流程 Async Wasm 解决方案 • 与 WASM 的语言无关。 • 可以复用 WASM 编写语言本身的生态。 • 不会对 WASM 执行产生性能损失 基于 fiber / ucontext 优点 • 实现困难，涉及到汇编。容易出错。 • 需要极其注意内存安全。

Excel 解析库 • xlsx2csv - Excel 转 CSV 工具 • Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - A Multi-address DSN(Data Source Name) parser. TDengine 应用开发组 • Python/Rust/Go 连接器 • 数据可视化 • 数据库运维工具 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time Series Database ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型  需要建库、建表， 多种不同协议数据对接，开发复杂度高 • 模块之间关联性不高但模块组成复杂，可维护性差 • 大量设备大量数据归集存储，存储压力大 • 数据总线 / 消息队列消息接入，定制化程度要求高 • 数据业务逻辑自定义需求强 • 一定的实时数据分析能力 taosX - 功能路线图 集群运维 数据接入 流式处理 流式处理 数据分享 开放平台 • Backup/Restore • Replication