Rust并行编译的挑战与突破 李原 2022年5月28日 • 相关浅谈 • Rust并行编译的挑战与突破 • 从并行编译到并行程序设计 • Rust社区与并行编译 目录 相关浅谈 Rust编译速度之殇 编译器设计造成编译速度缓慢 · 单态化 · 借用检查 · 宏展开 · MIR优化 ... Rust规模编译速度慢于C++ Rust编译速度之殇 提升编译效率成为近年社区重点工作 提升编译效率成为近年社区重点工作 并行编译或成下一代编译效率突破利器 2017-2021，Rust编译速度已提升一倍以上 Rust社区编译器性能工作组 Rust编译器并行化 Cargo多crate并行 二进制生成并行 更多更好的并行化？ Rust编译器架构 语法树生成 宏展开 命名解析 泛型解析 类型检查 借用检查 单态化 二进制生成 增量编译系统 底层数据 结构 Rust语言编译器结构总览 考虑内部编译流程并行化 考虑内部编译流程并行化 Rust并行并发 编译时线程安全检查 一些常见线程安全数据结构 常用Rust并行并发库 Rust并行并发 增加程序复杂度 线程安全数据结构造成效率损失 Mutex与RwLock rustc profileing 数据 · 代码复杂度及健壮性 · benchmark资源限制 · profileing成本 ... 收益 > 代价？ Rust并行编译的挑战与突破

第三届中国Rust开发者大会 KCL: Rust 在编译器领域的实践与探索 张正 蚂蚁集团 Agenda 01 KusionStack 与 KCL 02 用 Rust 重写 KCL 03 Rust 重写后的收益 04 更多的探索 01 KusionStack 与 KCL KusionStack是什么？ KusionStack架构 KCL KusionStack 是什么？ Language Server KCL Compiler KCL Package Manager 02 用 Rust 重写 KCL Python 代码翻译 栈式虚拟机 Rust 编译器 KCL 编译器架构升级 Source Code AST LLVM IR Native/WASM Source Code AST Bit code VM Source Code Python IDE：用户体验提升 源于 Rust 强大的编译检查和错误 处理方式， 更少的 Bug 稳定性提升 端到端编译执行性能提升了 66% 66 % 20 & 40 前端解析器性能提升 20倍 中端语义分析器性能提升40倍 稳定性和性能的巨大提升 50 % 语言编译器编译过程平均内存使用 量变为原来 Python 版本的一半 01 02 03 04 Case1: 单文件编译 > https://github

版本管理工具 .............................................................................. 15 1.4 rust 编译运行 .............................................................................. 16 第二章 Rust 基本语法 57 5.2.2 依赖的详细配置： ................................................................ 58 5.2.3 自定义编译器配置 ................................................................ 58 5.2.4 feature 段落......... 1 rust调用 ffi函数 .................................................................. 68 6.3.2 将 rust 编译成库 .................................................................. 71 6.4 堆，栈，BOX.............

. 156 27.2 其他类型的测试 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 27.3 编译器 Lint 和 Clippy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 27.4 练习：卢恩算法 . . Chromium 中的 Rust 深入探究 Chromium 中的 Rust 课程为期半天，旨在介绍 Chromium 浏览器中 Rust 的使用。课程内容 包括在 Chromium 的 gn 编译系统中使用 Rust，引入第三方 crate，以及与 C++ 的互操作性。 您需要能够构建 Chromium。为了提高速度，建议使用调试、组件构建方式，其他构建方式也可以使用。确 保所构建的 Chromium 课程为期一天，旨在介绍如何使用 Rust 进行裸机（嵌入式）开发。其中涵盖了微控制 器和应用处理器。 对于微控制器部分，需要提前购买 BBC micro:bit v2 开发板。每个人都需要安装多个软件包，具体如欢 迎页面中所述。 14 Rust 中的并发 深入探究 Rust 中的并发 课程为期一天，旨在介绍传统并发和 async/await 并发。 你需要设置一个新 crate，下载所需的

身会自然而然地引导你编写出 可靠的代码，并且运行速度和内存使用上都十分高效。 已经在从事编写底层代码的程序员可以使用 Rust 来提升信心。例如，在 Rust 中引入并行是相 对低风险的操作，因为编译器会替你找到经典的错误。同时你可以自信地采取更加激进的优 化，而不会意外引入崩溃或漏洞。 但 Rust 并不局限于底层系统编程。它表达力强、写起来舒适，让人能够轻松地编写出命令行 应用、网络服务器 试和经验丰富的开发者的仔细审核代码来捕捉。在 Rust 中，编译器充当了守门员的角色，拒 绝编译包含这些难以察觉的错误的代码，包括并发错误。通过与编译器合作，团队可以将时间 集中在程序逻辑上，而不是追踪 bug。 Rust 也为系统编程世界带来了现代化的开发工具： • Cargo 是内置的依赖管理器和构建工具，它能轻松增加、编译和管理依赖，并使依赖在 Rust 生态系统中保持一致。 • Rustfmt 程序设计语言 简体中文版 重视速度和稳定性的开发者 Rust 适合那些渴望在编程语言中寻求速度与稳定性的开发者。对于速度来说，既是指 Rust 可 以运行的多快，也是指编写 Rust 程序的速度。Rust 编译器的检查确保了增加功能和重构代码 时的稳定性，这与那些缺乏这些检查的语言中脆弱的祖传代码形成了鲜明对比，开发者往往不 敢去修改这些代码。通过追求零成本抽象（zero-cost abstractions）——

身会自然而然地引导你编写出 可靠的代码，并且运行速度和内存使用上都十分高效。 已经在从事编写底层代码的程序员可以使用 Rust 来提升信心。例如，在 Rust 中引入并行是相 对低风险的操作，因为编译器会替你找到经典的错误。同时你可以自信地采取更加激进的优 化，而不会意外引入崩溃或漏洞。 但 Rust 并不局限于底层系统编程。它表达力强、写起来舒适，让人能够轻松地编写出命令行 应用、网络服务器 试 和经验丰富的开发者的仔细审核代码来捕捉。在 Rust 中，编译器充当了守门员的角色，拒绝 编译包含这些难以察觉的错误的代码，包括并发错误。通过与编译器合作，团队可以将时间集 中在程序逻辑上，而不是追踪 bug。 Rust 也为系统编程世界带来了现代化的开发工具： • Cargo 是内置的依赖管理器和构建工具，它能轻松增加、编译和管理依赖，并使依赖在 Rust 生态系统中保持一致。 • Rustfmt 语言作出贡献。 重视速度和稳定性的开发者 Rust 适合那些渴望在编程语言中寻求速度与稳定性的开发者。对于速度来说，既是指 Rust 可 以运行的多快，也是指编写 Rust 程序的速度。Rust 编译器的检查确保了增加功能和重构代码 时的稳定性，这与那些缺乏这些检查的语言中脆弱的祖传代码形成了鲜明对比，开发者往往不 敢去修改这些代码。通过追求零成本抽象（zero-cost abstractions）——

超级计算机 • 科学运算/机器学习 • 图形图像处理 • 虚拟现实 ……都有系统编程的身影 • 操作系统 • 虚拟机/容器 • 数据库 • 3D游戏引擎 • 网络服务器 • 浏览器引擎 • 编译器、解释器 • 三维建模/动画/渲染 数据中心 • CPU/GPU • 内存/硬盘 • 电力 • 网络流量 • 其他设备和人员维护费用 都是白花花的银子，“硬件很便宜”的说法不靠 谱 你能买最新硬件，对手也能，无助于提升竞争力 self) -> &'a i32 { &self.x } struct Foo<'a, T: 'a> { x: &'a T, } Borrow Checker Borrowck是编译器内部组件，负责在 “编译期” 追踪审查引 用的有效性，是保证内存安全的重要功臣。运行时零开销。 fn main() { let mut v = vec![0, 1, 2, 3, 4, 5, 6]; 很严重的内存错误。人难免因疏忽而犯错，编译期检查对此无能为力。 并发安全 一个入口：std::thread::spawn() 两大门神：Send、Sync 编译期保证：没有数据竞争（No Data Race） Safe V.S. Unsafe // A unsafe { // B } // A Rust类型系统和编译器从机制上保证，unsafe 代码块以外的代码（A区），一定是内存安全的。 不能被编译器确认是内存安全的代码，必须且

Mozilla… Rust如何保障内存安全？ ❑ 内存安全问题产生的主要原因之一是指针别名导致悬空指针 ▪ 手动释放内存或调用析构函数 ▪ 函数返回时发生的自动析构或内存释放 ❑ Rust设计的目标之一是编译时检查指针别名（共享可变引用） ▪ 但一般意义上的指针分析是NP-hard问题 ▪ 智能指针可行，但作为运行时方案，效率低 ▪ Rust在语法设计中引入所有权机制，简化指针分析问题 Rust所有权模型 Mutability怎么办？ ❑ 以双向链表为例，中间节点被前后两个节点访用 ❑ Rust为了提升可用性所做的妥协 ▪ 智能指针（性能损失） ▪ 允许使用裸指针（unsafe模式） • 逃逸编译器的借用检查 => 指针别名 next prev next prev next prev struct List{ val: u64, next: *mut List, prev: *mut access call Rust实际表现如何？ ❑ 调研了2020年12月31日前报告的185个内存安全漏洞[TOSEM'21] ▪ Rust在内存安全防护方面效果不错 ▪ 所有的漏洞（除了1个编译器漏洞）都需要unsafe code ▪ 大部分CVEs都是 API soundness的问题（未在可执行程序中发现） Std Lib 3rd-party Libs Executables

封装寄存器、位域表示和数据结构 分享性外设：以GPIO为例 • 从前级环境获取所有权，如从ROM 运行环境的#[entry]获得； • 配置GPIO状态后，只有对应外设类 型允许的操作函数能通过编译，否则 拒绝编译，避免不安全行为； • 开源标准抽象的功能，使用抽象规定 的调用方法。本芯片外设专属的功能 也可通过专有函数使用； • 用户代码简短易懂，容易编写和调 试，降低开发成本。 *BL808组件化驱动操作GPIO按钮和灯 完成的时钟配置 编译时生成镜像头，通 常包含处理器配置、时 钟和闪存配置等部分 #[entry] 过程宏 • 过程宏是卫生宏，完成语法树间的转 换，此处用于将main函数转换为固 件需要的入口函数。 • 包含ABI转换、检查参数等步骤。 • 使用过程宏时，同时使用对应包中的 start初始化代码。start代码无需由 用户编写，而是包含在宏生成的输出 代码中。 • 编译即可获得包含镜像头的固件包， 嵌套虚拟化存在时，RustSBI实现应 当为内部虚拟机软件模拟H指令集。 在这方面，Dramforever的项目1提 供了很好的例子。 • LARVa2项目是固件充当模拟器的例 子，这里RustSBI被编译到RISC-V之 外的指令集。 • YdrMaster设计的sbi-testing3测试 框架可轻松检查SBI实现的正确性。 1 https://github.com/dramforever/opensbi-h

-{abi} 2. Rust编译工具链 rustup target add $target, --target=$rustc_target 3. 配置链接器 -C linker=$gcc_prefix-gcc 指示rustc采用的C链接器程序 cross 提供了 “零设置” 的交叉编译 rust crate 它提供了一个环境、交叉工具链和交叉编译库，可以生成最便携的二进制文件 3.4 Rust 交叉编译 1. IO 异步化  平台兼容性  隔离阻塞 IO 异步化 2. io_uring  性能有40%提高 3.5 异步 IO 4. 反哺社区 4.1 DataFusion 在开发过程中，我们发现一些 DataFusion 的 bug， 我们也多次为 DataFusion 提出 issue 和提交 pr。