第三届中国 Rust 开发者大会 使用 Rust 构建 LLM 应用 夏歌 SECTION TITLE SECTION TITLE 我们能不能直接用 Rust • 训练 • 推理 • AI 应用相关的工具 • WASI-NN spec • WasmEdge 已经支持 Pytorch 、 TensorFlow Lite • WASI-NN 2.0 比如 Langchain Rewrite 开发太难了 Low code Rust Rust 在系统编程已经取得了巨大成功 培养更广泛的 Rust 开发 围绕 LLM 生态封装相应的 Rust 框 架，让开发者能够使用简单的 Rust 写 应用 如何用 Rust 实现的 构建和部署 AI 相关工作流的 serverless 平台 • 上传 Rust function ，平台负责将 Rust 编译成 Wasm ，并运行在 WasmEdge

第三届中国 Rust 开发者大会 应用 waPC (rust) 做软件测试工具 Alan poon 潘泳权 大家好！ @rustropy_gaming ruito_89 PhoTto / image / chart Webassembly Procedures Call waPC 协议标准化了本机代码调用 WebAssembly 和 WebAssembly 调用本机代码的通信 (messaging) wasm • Operation 是我们要在 wasm 里注册 命名 • 以数据的长度，设置 wasm 的 linear memory 的指针 • Guest 可执行任务 • Guest 也可返回请求 host Invoke(ctx,operation,payload) WAPC 流程 • Uses Length of response and error to return result without fear 支持以 websocket 代替 wasm 协议 • 不可能为每个 websocket 链接编程新的 wasm • 流氓做法 (fork) - waPC guest rust 可 改编成让 register_function 在初始后使 用 • Using “invoke” to register more function • https://github.com/wasmmock/

第三届中国 Rust 开发者大会 利用 Rust 重塑移动应用开发 陈东 Aaron Chen CTO AccountLabs Rust China Conf 2023 2023 移动应用开发有那些选择？ 1. Native 2. Flutter 3. React Native ？ 利用 Rust 重塑移动应用开发 React Native is an open-source reload - Rendering Engine 利用 Rust 重塑移动应用开发 跨平台开发的优势和局限性 Pros: - Fast - Single Codebase - Third-party support (Javascript better than Dart) 利用 Rust 重塑移动应用开发 跨平台开发的优势和局 限性 Cons: - Performance Codebase 跨平台开发到到底 应该跨什么？ UI or Logic ? 利用 Rust 重塑移动应用开发 Rust 在移动端应 用的价值 Rust is the only advanced choice for cross platform development. 利用 Rust 重塑移动应用开发 Rust 的特点 Why Rust? - Cross platform - Performance

第三届中国 Rust 开发者大会 Rust 异步并发框架在移动端的应用 陈明煜 chenmingyu4@huawei.com 华为 公共开发部 嵌入式软件能力中心 本科就读加州大学圣地亚哥分校，毕业时长两年半， Rustacean 在 华为 目前正在使用 Rust 开发并行调度框架等模块。 Rust 异步并发框架在移动端的应用 陈明煜 chenmingyu4@huawei.com 华为 crates and their incompatibility with mobile environment Rust 异步机制 Asynchronous Rust 异步并发框架是许多大型应用、系统具备的底层能力。 区别于多线程编程模型，它带来以下优势：  任务调度颗粒度更小，充分利用线程资源  更可控的线程数  单个任务资源占用：几十 KB -> 几百 Byte  任务切换时间

研发不透明，规划凭感觉： • 发版时间靠运气 • 团队熬夜冲进度 研发透明化：不同项目清晰可见的效率、质量、进度 进度管理：根据团队客观数据，预测和确定项目规划 迭代进度一目了然 项目从无到有可核算 管理有数据科学依据 解放管理，更多时间花在 业务创新 平台运维 业务压力大，能力建设缓慢： • 大量工作花在工具链维护 • 项目间依赖复杂，环境管理难 • 交付版本依赖工单，发布风险高 平台 华为云 DevCloud 阿里云效 腾讯 CODING 容器云厂商 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云厂商友好，实施迁移成本极低，可扩展性 强，全球多地跨云跨域安全可靠自动化部署 企业基于 CI/CD 工具自建 DevOps 流程平台 围绕 Jenkins 、 Tekton 、 Argo 等 搭建流程串接胶水平台 护成本高价值难被证明 低采购成本、低实施成本， 内置模板库和最佳实践；高扩展性、技术先进性强 ，可灵活广泛接入现有工具链和业务场景 基于代码管理的 DevOps 方 案 Gitee 平台 GitLab 平台 局限性大、全流程安全性低 维护成本高 支持多个服务并行构建部署、产品级发布，可灵活 安全接入多个代码仓及周边工具链 Zadig 与现存 DevOps 方案对比 来自客户的评价：

，编译器往往会自动检测到可以优化，帮你 应用“妙用加减乘”了，无法体现手动优化的意义。 不同写法的性能测试 • 我们照常编写了测试用例，禁止内联优化，同样生成 10^7 个随机数（ -512 到 512 区间）。 • 至于为什么采用需要三个分支的 clamp 做测试？ • 优化级别在 -O1 以上时，对于只有两个分支的 if- else ，编译器往往会自动检测到可以优化，帮你应用 “妙用加减乘”了，无法体现手动优化的意义。 “妙用加减乘”了，无法体现手动优化的意义。 • 注：此处采用函数指针不仅是为了重用代码，也可以 避免 clamp 被编译器自动内联到 test 函数体内。 • 微软编译器的同学，要把 __attribute__((noinline)) 换成 __declspec(noinline) 才能编译。 不同写法的性能测试 可以看到不论是哪个优化级别，“妙用加减乘”的效果都是碾压 ifelse 的。 “ 摆大烂”的效果和 ，所以我们其实可以转换成： • return x >= 0 ? sqrt(x) : sqrt(0); • 然后再把 sqrt 提取出来得到： • return sqrt(x >= 0 ? x : 0); • 再应用无分支优化： • return sqrt((x >= 0) * x); • 大功告成，对于 x < 0 的情况会变成 sqrt(0 * x) = sqrt(0) = 0 和原来一样； • 对于

C++ 项目的文件后缀名全部改成 .cu ，都能编 译出来。 • 这是 CUDA 的一大好处， CUDA 和 C++ 的关 系就像 C++ 和 C 的关系一样，大部分都兼容 ，因此能很方便地重用 C++ 现有的任何代码库 ，引用 C++ 头文件等。 • host 代码和 device 代码写在同一个文件内，这 是 OpenCL 做不到的。 编写一段在 GPU 上运行的代码 • 定义函数 对下方所有的程序启用（推荐）： 顺便一提， CXX_STANDARD 和 CUDA_ARCHITECTURES 也有 这两种方式，我一般推荐直接设置全局的 CMAKE_CXX_STANDARD 即可应用到全部 add_executable/add_library 的对象上，比较方便。 进一步：核函数调用核函数 • 从 Kelper 架构开始， __global__ 里可以 调用另一个 __global__ (8 + 3 / 4) = 2 。 • 由于向上取整，这样会多出来一些线程， 因此要在 kernel 内判断当前 i 是否超过 了 n ，如果超过就要提前退出，防止越界 。 网格跨步循环：应用于线程和板块一起上的情况 • 网格跨步循环实际上本来是这样，利用扁平 化的线程数量和线程编号实现动态大小。 • 同样，无论调用者指定每个板块多少线程 （ blockDim ），总共多少板块（

有更长的周转时间来隐藏他内部计算的延迟。所以本案例中 AOS 比 SOA 好。 AOS 、 SOA 、 AOSOA 哪家强：结论 • 如果几个属性几乎总是同时一起用的，比如位置矢量 pos 的 xyz 分量，可 能都是同时读取同时修改的，这时用 AOS ，减轻预取压力。 • 如果几个属性有时只用到其中几个，不一定同时写入，比如 pos 和 vel ， 通常的情况都是 pos+=vel ，也就是 pos 他附近的 64 字节都被读取到缓存了，但实际只用到了其中 4 字节，之 后又没用到剩下的 60 字节，导致浪费了 94% 的带宽。 • 虽说连续、顺序访问是最理想的，然而在使用哈希表等数据结构中，不 可避免的会通过哈希函数得到随机的地址来访问，且 Value 类型可能小 于 64 字节，浪费部分带宽。怎么办？ 解决：按 64 字节分块地随机访问 • 解决方法就是，把数据按 64 字节大小分块。随 字节分块的效果拔群，但还是比顺 序访问慢一些，为什么？明明没有浪费带宽了？ 缓存行预取技术：吃着一碗饭的同时，先喊妈妈烧下一碗饭 • 其实，当程序顺序访问 a[0], a[1] 时， CPU 会智能地预测到你接下来可 能会读取 a[2] ，于是会提前给缓存发送一个读取指令，让他读取 a[2] 、 a[3] 。缓存在后台默默读取数据的同时， CPU 自己在继续处理 a[0] 的数据。这样等 a[0], a[1]

(superdog)” 类，他继承自普通狗 (dog) 。 • 这时我们可以给 IObjectClone 新增一个模板参数 Base ，其默认值为 IObject 。 • 这样当用户需要的时候就 • 可指定第二个参数 Base ， • 从而控制 IObjectClone 的 • 基类，也就相当于自己继 • 承自那个 Base 类了，不 • 指定的话就默认 IObject 。 IObject Zeno 中，我们必须有。 • 他们还有一些成员函数，这些函数可能是虚函数，也可能不是。 • 如何在不知道 OpenVDB 每个类具体继承关系的情况下，实现我们想要的继承关系，从而 实现封装和代码重用？简单，只需用一种被小彭老师称为类型擦除 (type-erasure) 的大法 。 类型擦除：还是以猫和狗为例 • 例如右边的猫和狗类，假设这两个类是某个第 三方库里写死的，这个第三方库的作者可能没

数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 企业级数据解决方案专家 为建行、工行、交行、招行、上交所、深交所、中国人寿等 70+ 银行证券保险 企 国信通产业集团等电力能源行业提供数据智能产品解决方案及长期服务。 海致专注为政府、金融、能源等客户提供大数据处理、分析、挖掘服务，在互 联网技术基础上，打造专业、易用的企业级大数据实战应用产品及解决方案。 北京中关村总部 武汉运维中心 深圳研发中心 上海应用中心 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 大规模图数据分析平 台”荣获中国计算机学会（ CCF ： China Computer Federation ）“ 2021 年 CCF 科 学技术奖科技进步卓越奖”。 伴随市场对于知识图谱应用的不断深入，图数据规模和应用性能之间的矛盾愈 加凸显，海致针对以上背景展开了系统性的技术攻关，解决了图数据的高效存 储、索引及复制难题，提出了基于图缩减的高效分析方法，并孵化出了一个大 规模图数据分析平台 AtlasGraph