第三届中国Rust开发者大会 CnosDB时序数据库的Rust实践 Yongtao Liu CnosDB 研发工程师 Rust China Conf 2023 CnosDB 是一款基于 Rust 开发的 开源的分布式时序数据库 1. CnosDB 架构与选型 2. 为何从 Go 切换到 Rust 3. 使用 Rust 经验分享 4. 反哺社区 1. CnosDB 架构与选型 特性 • 横/纵 向扩展 • 计算存储分离 • 平衡存储性能与成本 • 查询引擎支持矢量化查询 • 兼容多种时序协议 • 可观测性 • 支持云原生 • 原生支持多租户 • 租户Quota可动态配置 • 云边端协同 • 云上生态融合 整体架构 1.2 存储引擎 version_set Vnode IndexEngine DataEngine bucket bucket replica set 2. 为何从 Go 切换到 Rust • 高性能：无 GC 实时控制 • 安全：内存安全 线程安全 • 表达能力强：支持范型，match 表达式 3. Rust 使用经验分享 3.1 内存布局 offset Integer Float Complex 0 Discriminator（0）

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 操作 生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘

转 CSV 工具 • Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - A Multi-address DSN(Data Source Name) parser. TDengine 应用开发组 • Python/Rust/Go 连接器 • 数据可视化 • 数据库运维工具 • 第三方数据源接入 • BI 系统接入 https://taosdata TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time Series Database ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型  需要建库、建表， 为提升写入和查询效率，要求一个数据采集点一张表  为实现多表聚合，引入超级表概念  子表通过超级表创建，带有标签，通过标签实现多表 高效聚合 高效写入  支持标准 SQL 写入，支持批量写入  支持 Schemaless 写入  支持从 Kafaka, MQTT, OPC, PI System 以及文 件直接导入  数据源导入时，可定义规则引擎 TDengine: 与上下游应用的关系

Rust是一门新兴的系统编程语言 ，专注于安全 ，尤其是并发安全，支持函数式和命令式以及泛型等编程范 式的多范式语言。 openGauss数据库是一款高性能、高安全的数据库，社区支持Rust驱动可以更方便Rust语言开发者更好地基 于openGauss开发Rust应用。 要求 使用Rust语言实现openGauss数据库驱动 基于SHA256进行权限认证 能够执行增删改查SQL语句 × 参考 JDBC 标准，使用 rust 语言实现一个简单的只包含核心部分的版本 √ 基于开源的 rust-postgres 驱动开发，实现基于 sha256 的鉴权方式连接 openGuass 数据库 × 使用 rust 语言已有的 sha256 方式 × 使用 rust 语言已有的 RFC5802 三方包 √ 参考已有的基于 JAVA 语言实现的 openGauss sha256 鉴权代码，使用 会首先建立连接，同时会发送认证协议的版本； 服务器会响应具体的认证方式以及该认证方式所需的信息； 客户端根据要求的认证方式通过认证后，就可以向服务器端发送各种数据库命令 6 方案介绍 - 认证流程 7 方案介绍 - SHA256认证 SHA256 认证是 openGuass 在 postgres 支持的认证方法之上，额外提供的一种更安全的认证方式。 其认证流程遵循 RFC5802 标准 8 方案介绍 - 代码 pos

Sync，那么可以安全的在线程间共享 T ● Rust 的类型推导系统和编译检查跨线程传递和共享的对象 是否满足 Send + Sync TiKV ● 大规模分布式 Key-Value 数据库 ● 支持 ACID 跨行事务支持 ● 支持 MVCC 无锁的快照读 ● 构建于 Raft 之上，不依赖分布式文件系统 ○ 更少的第三方依赖 ○ 更高的性能（低延迟） ● 配合 TiDB 使用，需要有健全的逻辑实现 更少的代码写出更安全的程序 ○ 代价是早期更高的学 习成本 ● 解决问题的架构和范式万变不离其宗 ○ 并不是靠换个语言重写一遍就解决问题 ● TiKV 是一个性能极高且极其稳定的新一代分布式 kv 数据库 :) 谢谢 Q & A

02 ~ 2020.11 2021.9  自研存储引擎  1.0.0 版本发布  查询性能优化  Prometheus 协议支持  基于 InfluxDB 单机引擎研发 分布式方案  OpenTSDB 协议  内存时序数据库  存储计算分离架构  分级存储  永久代  CeresDB 开源 2022.6 2023.3  开源版本 CeresDB 提供高可用、高可靠的服务 • 支持水平扩容 • 支持高效的分布式查询 - Tokio Preemption - Future Cancellation Rust 生产实践 生产实践 – Tokio 为什么使用 Tokio ？ 1. 业界使用最广泛，测试齐全。 2. Tokio 支持 async/await ，提供了高效的异步锁、异步队列等。 3. Tokio 社区支持好。 生产实践

使用Rust与ClickHouse构建高 效可靠的日志系统 刘炜 腾讯云（专有云） • 自我介绍 • 系统介绍 • 整体架构 • 系统实现 • 遇到问题 大纲 自我介绍 • 大龄码农 • 做过嵌入式/CDN/数据库开发 • 从C/C++到Rust • 现在在腾讯云（专有云）从事日志系统的开发 自我介绍 PhoTto / image / chart 系统介绍 系统介绍 • 属于腾讯专有云PaaS平台(TCS) • 接入端 • API Gateway • 日志服务(Mencius) • 存储(ClickHouse) 整体架构 • 协议层 • 处理层 • 计算层 • 存储层 系统实现 协议层 • 支持协议 • Loki • 写入 • Json/ProtoBuf • 查询 • LogQL • Log Queries • Metric Queries • OpenTSDB • 统计/计算 日志全文索引 问题 • Rust • Lifetime侵入性比较强 • 库质量参差不齐 • ClickHouse • 可运维性弱 • 强Schema带来不够灵活的缺点 • 全文索引支持比较弱 Thank you！

依赖关系也可以通过其他 registry、git 及文件夹等解析。 • Rust 区分版本（edition）：当前版本是 Rust 2021。之前的版本是 Rust 2015 和 Rust 2018。 – 这些版本支持对语言进行向后不兼容的更改。 – 为防止破坏代码，版本是可选的：通过 Cargo.toml 文件为 crate 选择合适的版本。 – 为免分割生态系统，Rust 编译器可以混合使用为不同版本编写的代码。 Rust 是一门新的编程语言，它的 1.0 版本于 2015 年发布： • Rust 是一门静态编译语言，其功能定位与 C++ 相似 – rustc 使用 LLVM 作为它的后端。 • Rust 支持多种平台和架构: – x86、ARM、WebAssembly...... – Linux、Mac、Windows...... • Rust 被广泛用于各种设备中： – 固件和引导程序， – 智能显示器， 枚举和模式匹配。 – 泛型。 – 无额外开销的外部函数接口（FFI）。 – 零成本抽象。 – 强大的编译器错误提示。 – 内置依赖管理器。 – 对测试的内置支持。 – 优秀的语言服务协议（Language Server Protocol）支持。 不用在这里占用过多时间。所有这些要点均会在后面进行详细讲解。 应该问问学生们都使用过哪些语言。根据答案侧重讲解 Rust 的不同特性： • 使用过 C

中国大会第十届 Rust 处于起步阶段 中文圈学习资料或书籍少，有部分是翻译国外产品，能 不能中国人向国外输出作品 Rust 缺少学习资源 Rust 未来大有可为 Rust 在操作系统，数据库，各种框架和工具上应用范围 广 写作动机 当情况不明时，抱着一个纯粹的目标干事就行了，其他 的留给时间检验。不懂就学，技术写作更像一种共创， 要反复总结和修改 ( 费曼学习法 ) 。 写作本书给我的启示 线性数据结构 非线性数据结构 总体来看，时间复杂度没有超过 O(n) 的！ Rust 实现数据结构 • 栈 • 链表 • Vec Rust 实现数据结 构 栈 借助 Vec 容器 泛型支持 Option ？ 链表 链接可能为空 多种迭代 Vec 借助链表 随机插入 插入新的 Vec Rust 实现算法 • 蒂姆排序 • 字典树 • 图 Rust 实现算 法 蒂姆排序

SECTION TITLE SECTION TITLE 我们能不能直接用 Rust • 训练 • 推理 • AI 应用相关的工具 • WASI-NN spec • WasmEdge 已经支持 Pytorch 、 TensorFlow Lite • WASI-NN 2.0 比如 Langchain Rewrite it in Rust • 笨重 • 资源占用多 • 大部分时间是在等待 WasmEdge 安全容 器中 • 平台封装了一些常用 LLM 和 SaaS 的 API ，并发布成了 crate ，比如 ChatGPT 、 telegram 、 GitHub 、 Discord 、向量数据库比如 qdront 。 • 整个 serverless 平台是为 Rust 和 WebAssembly 设计的 视频演示如何使用 serverless 的方式部署 一个 PR review 机器人。