Rust 异步 Runtime 的兼容层 施继成 @ DatenLord Introduce what’s rust async runtime # Rust async runtime Analyze the reason of runtime isolation # Async runtime binding # Compatible layer 1 Create a wheel

第三届中国 Rust 开发者大会 Rust 异步并发框架在移动端的应用 陈明煜 chenmingyu4@huawei.com 华为 公共开发部 嵌入式软件能力中心 本科就读加州大学圣地亚哥分校，毕业时长两年半， Rustacean 在 华为 目前正在使用 Rust 开发并行调度框架等模块。 Rust 异步并发框架在移动端的应用 陈明煜 chenmingyu4@huawei.com 华为 公共开发部 嵌入式软件能力中心 Applications of Rust Runtime in Mobile Overview of asynchronous Rust #1 Rust 异步简介 Ylong async runtime #3 Ylong Runtime 并发框架 目录 Table of Contents #2 社区并发框架介绍以及与移动端的不适配性 Introduction environment Rust 异步机制 Asynchronous Rust 异步并发框架是许多大型应用、系统具备的底层能力。 区别于多线程编程模型，它带来以下优势：  任务调度颗粒度更小，充分利用线程资源  更可控的线程数  单个任务资源占用：几十 KB -> 几百 Byte  任务切换时间 : 10 微秒 -> 100 纳秒 Rust 语言并没有提供异步并发框架， 只提供异步所需的基本特性：

的部分构成的并发类型时需要多加小心，以确保 维持其安全保证。“The Rustonomicon” 中有更多关于这些保证以及如何维持它们的信息。 总结 这不会是本书最后一个出现并发的章节：下一章我们会专注于异步编程，并且第二十一章的项 目会在更现实的场景中使用这些概念，而不像本章中讨论的这些小例子。 373/562Rust 程序设计语言 简体中文版 正如之前提到的，因为 Rust 本身很少有处理并发的部分内容，有很多的并发方案都由 过它仍然可以并发工作。借助像线程、进程和异步（async）等工具，计算机可以暂停一个活 动，并在最终切换回第一个活动之前切换到其它活动。在一个有多个 CPU 核心的机器上，它 也可以并行工作。一个核心可以做一件工作的同时另一个核心可以做一些完全不相关的工作， 而且这些工作实际上是同时发生的。 当使用 Rust 中的 async 时，我们总是在处理并发。取决于硬件、操作系统和所使用的异步运 行时（async runtime）– runtime）– 稍后会介绍更多的异步运行时！并发也可能在底层使用了并行。 现在让我们深入理解 Rust 的异步编程实际上是如何工作的！在接下来的章节中，我们将： • 学习如何使用 Rust 的 async 和 await 语法 • 探索如何使用异步模型来解决第十六章中遇到的一些挑战 • 了解多线程和异步如何互补，在很多场景中你甚至可以同时使用两者 377/562Rust 程序设计语言 简体中文版

3 并发编程：上午练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320 XIV 并发：下午 326 63 异步 Rust 327 63.1 async/await . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 63.4 任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330 63.5 异步通道 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330 64 Futures Control 65.2 Pin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336 65.3 异步特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338 65.4 消除 . . . .

或并发控制语义。异步执⾏器被允许在任意时刻删除⽣成的 Future 实例以取消正在执⾏的异步操作，但取消 总是⽆副作⽤的吗？Rust 是否需要另⼀种“颜⾊”的 Future 为有副作⽤取消的异步⾏为提供安全保证？ 回顾如何使⽤ Future ⽀持基于 poll 的 IO，以及基于取消 Future 的流程控制 # 基于 Poll 的 Future io-uring 等异步模型让 Future 再⽆副作⽤，这可能导致严重的错误 # 不再是⽆副作⽤的取消 # 最终与折中⽅案 引⼊另⼀种“颜⾊”的 Future 以最终解决 问题，或者基于字节跳动开源的异步驱动 器 monoio 探索的折中⽅案 ⽬录 Rust 中的异步 Rust 基于 Future trait 实现异步编程 pub trait Future { type Output; fn poll(self: Pin<&mut �� This is also OK } monoio 中的解决⽅案 Monoio: https://github.com/bytedance/monoio 是字节跳动开源的 Rust 异步驱动器，它⽀持以 io-uring 驱动 IO。 相较于 Tokio，Monoio 移动 buffer 的所有权以避免 buffer 随着析构 Future ⽽意外释放。 �� tokio

TCP\TLS\UDP 等各种连接为基础的，非常依赖于高性能的 IO 操作。 利用 Rust 异步实现 HTTP 协议和各种应用程序能得到十分可观的性能提升，并且能降低用户编码的难度。 Rust China Conf 2022 – 2023, Shanghai, China Rust 与 HTTP 协议 借助于 Rust 异步能力的热门 Rust HTTP 协议库或应用库： Hyper reqwest 协议。 ✓ Rust 异步实现 ✓ 支持 HTTP/1.1 和 HTTP/2 ✓ 支持 Client 和 Server ✓ 高性能 ✓ 高可扩展性 Rust China Conf 2022 – 2023, Shanghai, China Rust 与 HTTP 协议 reqwest 是基于 hyper 实现的高性能、易用的 HTTP 客户端库。 ✓ Rust 异步实现 ✓ 支持明文、JSON、Multipart China Conf 2022 – 2023, Shanghai, China Rust 与 HTTP 协议 actix_web 是一个强大、实用且速度极快的 Rust 网络框架。 ✓ Rust 异步实现 ✓ 支持 HTTP/1 和 HTTP/2 ✓ 支持 HTTPS ✓ 支持消息路由 ✓ 支持 body 自动解压缩 ✓ 支持 multipart Rust China Conf 2022

................ 95 7.2.3 通过克隆发送者来创建多个生产者 ........................................... 96 7.2.4 异步通道与同步通道 ............................................................. 97 7.2.5 可发送的消息类型 ......... thread 虽然你可能会看到这些值以不同的顺序出现。在并发下，运行结果可能每次都 不相同。以进入到 channel 的顺序为主。 7.2.4 异步通道与同步通道 Rust 的标准库其实提供了两种类型的通道：异步通道和同步通道。在前面使用 的都是异步通道。异步通道指的是：不管接收者是否正在接收消息，消息发送 者在发送消息时都不会阻塞。为了验证这一点，我们尝试多增加个线程来发送 消息： use std::sync::mpsc; 所在的主线程睡眠 2 秒，从而让发送者所在线程优 先执行，通过结果可以发现，发送者发送消息时确实没有阻塞。 异步通道具备消息缓存的功能，理论上是无穷的，直至内存耗光为止。 异步通道的具有良好的灵活性和扩展性，针对业务需要，可以灵活地应用于实 际项目中。 同步通道： 同步通道在使用上同异步通道一样，接收端也是一样的，唯一的区别在于发送 端，唯一不同的在于创建同步通道的那行代码。同步通道是 sync_channel，对

中的枚举与 C 语言中的联合体 类似，如左图所示的枚举代码，实际 大小为16字节加8个字节的鉴别器， 总共24字节。 3.2 流式处理 3.2 流式处理 3.3 Rust 的锁 2. 异步死锁检测 https://github.com/tokio-rs/async-backtrace 1. sync rwlock parking_lot crate 它提供了一个环境、交叉工具链和交叉编译库，可以生成最便携的二进制文件 3.4 Rust 交叉编译 1. IO 异步化  平台兼容性  隔离阻塞 IO 异步化 2. io_uring  性能有40%提高 3.5 异步 IO 4. 反哺社区 4.1 DataFusion 在开发过程中，我们发现一些 DataFusion

用 Why Rust ? • 安全性 • 高性能 • 跨平台兼容 • 强大的类型系统和抽象表达能力 • 优秀的 Rust 生态和开发工具链 • C FFI 互操作能力 • async/await 异步编程 Rust - Crates Used in taosX • Async runtime: https://crates.io/crates/tokio • Job Scheduler: https://crates tokio::select with stream::iter • Case 1: cancel with blocking code Tokio - Notes • 使用非阻塞或并发 / 异步数据结构 • 使用异步锁和异步 Channel 。 • 使用 spawn_blocking 提交耗时任务 • C FFI 调用时，要关注上下文的线程安全性。 • 多个运行时之间使用 Channel 通信，降低锁使用范围。

涵盖异常的事前、事中、事后的全方位监控 基于 Rust 异步编程框架开发，风控逻辑可插拔，兼顾部署灵活性与执行性能 风控服务端和桌面客户端 Rust 全栈应用实践 - 桌面客户端、风控 高性能异步日志库 ftlog Rust 全栈应用实践 - 开源 1. 特性丰富实用： 时间切分 受限写入 异步写入 按业务多目标写入 .... 2. 性能优秀