China Conf 2023 CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 TDengine Rust • OOXML - Excel 解析库 • xlsx2csv - Excel 转 CSV 工具 • Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - 第三方数据源接入 • BI 系统接入 https://taosdata.com/ https://github.com/zitsen CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time Series Database ），专为物联网、工业互联网、金融、 全托管时序数据 管理云服务平台 • 全托管服务 • VPC 对等连接 • 多云部署（ AWS/Azure/ GCP) CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 taosX - 物联网数据接入问题 • 多种不同协议数据对接，开发复杂度高 • 模块之间关联性不高但模块组成复杂，可维护性差 • 大量设备大量数据归集存储，存储压力大

存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 64 位（ 32 位时代过去了） 至少 2 核 4 线程（并行课…） 英伟达家显卡（ GPU 专题） 软件要求： Visual Studio 2019 （ Windows 用户） GCC 线程。一个进程可以拥有多个线程。 • 每个线程共享同样的内存空间，开销比较小。 • 每个进程拥有独立的内存空间，因此开销更大。 • 对于高性能并行计算，更好的是多线程。 为什么需要多线程：无阻塞多任务 • 我们的程序常常需要同时处理多个任务。 • 例如：后台在执行一个很耗时的任务，比 如下载一个文件，同时还要和用户交互。 • 这在 GUI 应用程序中很常见，比如浏览 器在后台下载文件的同时，用户仍然可以 类，和 std::thread 不同在于：他的解构函数里会 自动调用 join() 函数，从而保证 pool 解 构时会自动等待全部线程执行完毕。 小彭老师快乐吐槽时间 • 多线程、异步、无阻塞、并发，能提升程序响应速度，对现实世界中的软件工程至关重要 。 • 反面教材： blender 在运行物理解算的时候，界面会卡住，算完一帧后窗口才能刷新一遍 ，导致解算过程中基本别想做事，这一定程度上归功于

存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 64 位（ 32 位时代过去了） 至少 2 核 4 线程（并行课…） 英伟达家显卡（ GPU 专题） 软件要求： Visual Studio 2019 （ Windows 用户） GCC • 并发：单核处理器，操作系统通过时间片调 度算法，轮换着执行着不同的线程，看起来 就好像是同时运行一样，其实每一时刻只有 一个线程在运行。目的：异步地处理多个不 同的任务，避免同步造成的阻塞。 • 并行：多核处理器，每个处理器执行一个线 程，真正的同时运行。目的：将一个任务分 派到多个核上，从而更快完成任务。 举个例子 • 并发：某互联网公司购置了一台单核处理 器的服务器，他正同时处理 个小块拼接起来即可得到完整 的 cornell box 图像。总共只花了 1 分钟。 图形学爱好者：我看中的是多核，目的是加速比，如果是单核，那多线程对我无用！ 某互联网公司：我看中的是异步，目的是无阻塞，即使是单核，多线程对我也有用。 因特尔开源的并行编程库： TBB https://link.springer.com/chapter/10.1007%2F978-1-4842-4398-5_2

Async Rust 回顾 • 特性：用户态调度的无栈协程 • Pending Task 不存在栈空间 • 痛点：观测与调试工具无法还原 Pending Task 的执行状态 • 难以得知 Task 阻塞的位置和原因 • 难以调试 Async Stuck • ? 如何解决？ Await-Tree Async Rust 可观测性的灵丹妙药 Await-Tree 的 设计原理与实现 2 回顾 Async 的生命周期和控制流 • Init, First Poll, Pending, Next Poll, Ready, Cancel • 实时将 Task 的执行状态维护为一棵树 • 显示目前正在阻塞 / 执行的 Await Point • 得名 Await-Tree 基本用例 Await Tree 的设计原理与实现 基本用例 Await Tree 的设计原理与实现 设计细节 Await Rust 可观测性的灵丹妙药 总结 • Async 生态下的 Stack Tree Backtrace 工具 • 实时观测各个 Task 的执行状态 • 直观分析 Task/Future 间的依赖阻塞关系 • 将 Await-Tree 集成在自己的 Async Rust 系统中！ • github.com/risingwavelabs/await-tree Thank you ！

Structured concurrency Scope  Rust 线程中的结构化并发  阻塞等待所有 Scope 内的子线程任务完成  子线程执行的闭包中可以捕获 Scope 外的变 量 AsyncScope  将 std 库中 thread scope 的思想异步化  在同步环境阻塞等待子异步任务完成，在异步 环境异步等待子异步任务完成  优先级继承：子任务默认继承父任务优先级，

面向生态伙伴开放场景 面向开发者提供 IDE 插件 / 自测环境 通用工作流广泛链接生态赋能开发者 企业解决方案和最佳实践内置 发布 AI 增强解决方案 企 业 开 放 性 、 A I 能 力 增 强 产品发展历程 高频极速迭代： Zadig 开源 29 个月共迭代 21 个版本 “ ” 开发者常处于 今天发版、明早升级 嗷嗷待哺状态 Zadig 优势、使用场景、解决问题域 力 • 无需打包镜像，即可一键热部署到自测 环境 • 与 Zadig 基准环境交互，完成自测、 联调验证 云原生 IDE 插件（ vscode ） 执 行 企 业 合 规 S O P 流 程 ， 灰 度 蓝 绿 部 署 策 略 ， 完 成 生 产 环 境 发 布 最 后 一 公 里 特色模块（一） – 发布管理 多服务编排升级 配置变更 生产观测 数据变更 灰度发布 “ Z a d i g 解 决 方 案 面 向 开 源 ， 可 用 性 极 高 ， 通 用 性 场 景 适 配 性 强 ， 重 复 利 用 度 高 。 市 面 上 的 其 他 产 品 基 本 没 办 法 解 决 微 服 务 联 调 的 问 题 … 大 家 一 般 进 入 统 一 的 环 境 里 自 测 ， 但 通 常 只 会 测 试 能 想 到 的 点 ， K o d e R o v e r

存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 64 位（ 32 位时代过去了） 至少 2 核 4 线程（并行课…） 英伟达家显卡（ GPU 专题） 软件要求： Visual Studio 2019 （ Windows 用户） GCC 6 个参数：分别通过 edi ， esi ， edx ， ecx ， r8d ， r9d 传入 movl %edi, -4(%rsp) 相当于： *(rsp - 4) = edi; 开启优化： -O3 movl %edi, %eax 相当于： eax = edi 32 位乘法运算： imull imull %esi, %eax 相当于： eax *= esi 64 位乘法运算： imulq 函数中无法使用非 constexpr 的容器： vector, map, set, string 等 …… constexpr ：强迫编译器在编译期求值（续） 发现：会让编译变得很慢，因为这 50000 次迭代是在编译期进行的。 第 2 章：内联 调用外部函数： call 指令 @PLT 是 Procedure Linkage Table 的缩 写，即函数链接表。链接器会查找其他 .o 文件中是否定义了

来存储 分离 read/write/create 三种访问模式 foreach 直接给出当前坐标指向的值 改用 unordered_map 来存储 unordered_map 手动 read(i, j) 也一样速度 索性把坐标和值打包成 tuple ，存储在 vector 按行压缩（ Compressed Row Storage ） http://www.netlib.org/lina 写入：如果不存在，则创建该表项 用 unordered_map 来存储 map 基于红黑树，会按照键值排序，需要键值具有 operator< 重载，复杂度 O(logn) C++11 新增的 unordered_map 基于哈希表，不保证顺序但更高效，需要键值能被哈希，复杂度 O(1) 用 unordered_map 按 16x16 分块存储 分块能减少 unordered_map 中存储的表项数量，从而减轻哈 std::mutex 避免多个线程同时访问。 然而这样会严重影响性能，锁和原子多了，就根本并行不起来。 教科书式的解决：二次判断法 这样如果 block 已经非空，则可以不用上锁，减少上锁次数。 如果 block 为空，则上锁；再次检测是否为空，空则分配内存， 非空说明其他线程已经帮我分配好了，直接退出。 结果反而还变慢了……所以有时候教科书（如 Concurrency in Action ）不一定就是完美解决方案，要根据实际情况判断。

小彭老师常用 Ctrl+D 来快速关闭一个 shell （和输入 exit 命令的效果一样）。 • 以及按 Ctrl+I 的效果其实和 Tab 键一样，按 Ctrl+J 的效果和 Enter 键一样，按 Ctrl+H 的效果和退格键 一样。 • 这是因为 ASCII 表中规定 ^I 就是 ‘ \t’ ， ^J 就是 ‘ \ n’ ， ^H 就是 ‘ \b’ ，所以以前原始的计算机键盘上其 实还没有 “hello” 也是个语法糖，他等价于数组 {‘h’, ‘e’, ‘l’, ‘l’, ‘o’, 0} 。 C 语言字符串的特点 • 正如 ‘ h’ 是个语法糖，等价于 h 的 ASCII 码——整数 104 。 • “hello” 也是个语法糖，他等价于数组 {‘h’, ‘e’, ‘l’, ‘l’, ‘o’, 0} 。 • hello 每个字符都连续地排列在这个数组中，那么末尾的 来表示数组的结尾。这样只需要一个首地址指针就 能表示一个动态长度的数组，高，实在是高。 “0 结尾字符串”知识点应用举例 • 利用 C 语言字符串“以 0 结尾”这个特点，我们可以在一个 本来非 0 的字符处写入 0 ，来提前结束字符串。例如在第 n 个字符写入 0 ，就会只保留前 n 个字符作为一个子字 符串，删除后半部分。 “0 结尾字符串”知识点应用举例 • C 语言所谓的字符串类型

存储大规模三维数据的关键：稀疏数据结构 11.物理仿真实战：邻居搜索表实现 pbf 流体求解 12.C++ 在 ZENO 中的工程实践：从 primitive 说起 13.结业典礼：总结所学知识与优秀作业点评 I 硬件要求： 64 位（ 32 位时代过去了） 至少 2 核 4 线程（并行课…） 英伟达家显卡（ GPU 专题） 软件要求： Visual Studio 2019 （ Windows 用户） GCC 造函数，那么您必须同时定义或删除拷贝 赋值函数，否则出错。” C++11 ：为什么区分拷贝和移动？ • 有时候，我们需要把一个对象 v2 移动到 v1 上。而不需要涉及实际数据的拷贝。 • 时间复杂度：移动是 O(1) ，拷贝是 O(n) 。 • 我们可以用 std::move 实现移动。 • v2 被移动到 v1 后，原来的 v2 会被清 空，因此仅当 v2 再也用不到时才用移动 。 v2 的内容被移走，所以只剩 动这样做。虽然低效，但至少可以保证不出错 。 • 若自定义了移动构造，对提高性能不感兴趣： • 移动赋值≈解构 + 移动构造 注： 降低时间复杂度： O(n) >>> O(1) 提高性能： O(1) >>> O(0.1) 小技巧：如果有移动赋值函数，可以删除拷贝赋值函数 • 其实：如果你的类已经实现了移动赋值函数，那 么为了省力你可以删除拷贝赋值函数。 • 这样当用户调用：