第三届中国 Rust 开发者大会 Rust 构建分布式账务系统 在 Fintech 公司落地 Rust 项目的经验分享 Airwalle x 胡宇 Airwallex 我们是一家跨境支付领域的 Fintech 独角兽 关于我们 E2 轮 Fintech 独角兽，业务遍布全球 关于我们： Airwallex 墨尔本 新加坡 伦敦 深圳 香港 北京 旧金山 上海 东京 提供高效，低成本的数字银行服务 关于我们： Airwallex 从设计架构到实现细节 项目介绍 分布式账务系统 Fintech 互联网 正确性 bug= 资损 bug 不可怕，快速迭代 可靠性 丢数据 = 资损 允许数据丢失 性能 超低延迟 + 高吞吐 超高吞吐 交易日志 审计，监管 调试使用 分布式账务系统 Fintech 领域中的软件与互联网软件的不同 需求分析 支付处理： ● 转账 ● 水平扩展性：利用分布式事务实现钱包集群的的水平扩 展，应对高达 100 万 TPS 的流量 可演化性：业务逻辑与底层 API 解耦，当业务发生改变 时，底层 API 不用改变 分布式账务系统 设计理念 - Rust 是我们可靠的基石 分布式账务系统 存算分离 API 解耦 读写分离 层级账号 Rust ● 事务层与账户层分 离 ● 独立水平扩展 ● CQRS ● Event Sourcing ● 针对读场景，写场

由浅入深学习 map 容器 by 彭于斌（ @archibate ） 我负责监督你鞋习 ! 我负责监督你鞋习 ! 本期看点： 用方括号 [ ] 取出 map 元素居然是错误的！ 能不能在遍历的同时删除元素？安全吗？ emplace ， emplace_hint ， try_emplace 的区别？ 课程安排 1. vector 容器初体验 & 迭代器入门 (BV1qF411T7sd) 2 2. 你所不知道的 set 容器 & 迭代器分类 (BV1m34y157wb) 3. string ， string_view ， const char * 的爱恨纠葛 (BV1ja411M7Di) 4. 万能的 map 容器全家桶及其妙用举例 ( 本期 ) 5. 函子 functor 与 lambda 表达式知多少 6. 通过实战案例来学习 STL 算法库 7. C++ 标准输入输出流 & 字符串格式化 • (*it).first; // K 类型 • (*it).second;// V 类型 map 的遍历：用 C++17 range-based loop • 和 vector 等 STL 容器一样， map 也支持 C++17 的 range-based loop 语法进行遍历 。 • for (auto tmp: m) • 由于刚刚说了， map 真正的“元素类型”是 K-V 对，所以这里的

C++ STL 容器全解之 vector by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course C++ 标准库五大件：容器（ container ） C++ 标准库五大件：迭代器（ iterator 侯捷 STL 侯捷 STL vector 容器 vector 容器：构造函数 • vector 的功能是长度可变的数组，他里面的数据 存储在堆上。 • vector 是一个模板类，第一个模板参数是数组里 元素的类型。 • 例如，声明一个元素是 int 类型的动态数组 a ： • vector a; vector 容器：构造函数和 size • vector 可以在构造时指定初始长度。 vector a(4); • 之后可以通过 a.size() 获得数组的长度。 • 比如右边这段代码会得到 4 。 • size_t size() const noexcept; vector 容器： operator[] • 要访问 vector 里的元素，只需用 [] 运算符 ： • 例如 a[0] 访问第 0 个元素（人类的第一 个） • 例如 a[1] 访问第 1 个元素（人类的第二

com/video/BV1qF411T7sd 课程安排 1. vector 容器初体验 & 迭代器入门 (BV1qF411T7sd) 2. 你所不知道的 set 容器 & 迭代器分类 ( 本期 ) 3. string ， string_view ， const char * 的爱恨纠葛 4. 万能的 map 容器全家桶及其妙用举例 5. 函子 functor 与 lambda 表达式知多少 6 标准输入输出流 & 字符串格式化 8. traits 技术，用户自定义迭代器与算法 9. allocator ，内存管理与对象生命周期 set 和 vector 的区别 • 都是能存储一连串数据的容器 。 • 区别 1 ： set 会自动给其中的 元素从小到大排序，而 vector 会保持插入时的顺序。 • 区别 2 ： set 会把重复的元素 去除，只保留一个，即去重。 • 区别 3 这样只会按字符串指针的地址去判断相等， 而不是所指向字符串的内容。 set 的排序：自定义排序函数 • set 作为模板类，其实有两 个模板参数： set • 第一个 T 是容器内元素的类 型，例如 int 或 string 等。 • 第二个 CompT 定义了你想 要的比较函子， set 内部会 调用这个函数来决定怎么排 序。 • 如果 CompT 不指定，默认

也有人说 1 KiB 才是 1024 B 的，但是很少有人采用这种写法…… • 在买硬盘和 u 盘等存储设备的时候，往往会出现容量减少的情况，这是因为生产厂家按照 的是 1000 倍的换算的，而我们的系统中一般都是按照 1024 倍去计算的。 字还被用于表示内存地址 • 字的长度除了决定一次处理的整数大小之外，还决定了能访问的内存地址的范围。 • 这是因为内存是一维排列的，假如内存容量是 65536 是短整数类型，大小为 16 位或者说 2 字节。 int 是整数类型，大小为 32 位或者说 4 字节。 long long 是超长整数类型，大小为 64 位或者说 8 字节。 long 比较特殊，在 Unix 上随系统位数变化， Windows 上始终是 32 位。 C 语言的基础整数类型 类型 Unix 32 位 Unix 64 位 Windows 32 位 Windows 64 位 char 8 位 8 64 位 64 位 注意到 Unix 和 Windows 关于 long 的定义有分歧： Unix 认为 long 的大小应该和系统架构位数一样， 32 位系统上就 32 位， 64 位系统上就 64 位。 Windows 认为 long 不论 32 位系统还是 64 位系统都一样应该为 32 位，认为这样安全。 因此我们在编写 C 语言程序时，应该避免使用 long 类型，他会导致你的程序难以跨平台。

b 课程安排 1. vector 容器初体验 & 迭代器入门 (BV1qF411T7sd) 2. 你所不知道的 set 容器 & 迭代器分类 (BV1m34y157wb) 3. string ， string_view ， const char * 的爱恨纠葛 ( 本期 ) 4. 万能的 map 容器全家桶及其妙用举例 5. 函子 functor cat 。 • 试试按 Ctrl+R ， Ctrl+E ， Ctrl+C 等一系列 组合键，看到出现了什么？ • 可以看到显示的字符变成了 ^R ^E ^C 等… … • 这是 Unix 类系统显示控制字符的一种方式 。 • 众所周知，我们常用 Ctrl+C 来发送中断信号 （ SIGINT ）强制终止程序，这时常常会看到 一个 ^C 的字样，就是这样出现的。这里我 们的 cat 程序收到 std::format 4. 第三方库提供的 fmt::format （ https://github.com/fmtlib/fmt ） 5. 参考小彭老师在 zeno 里手撸的两个函数（能支持任意 STL 容器的打印） ： • https://github.com/zenustech/zeno/blob/master/zeno/include/zeno/utils/to_string.h • https://github

开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效 / 低质量 / 低效率 / 高成 本： 人淹没在系统的海洋里，无数平台手工切换 高人效 / 高质量 / 高效率 / 低成 本： 人在系统之外 / 上，复杂性下沉到单一平台 希望 工程师不再花时间在开发写代码之外的脏活累活，比如服务部署、找环境，服务编排等 Infra 的事情。 1 0 开发者常处于 今天发版、明早升级 嗷嗷待哺状态 Zadig 优势、使用场景、解决问题域 Zadig 解决问题域 Zadig 云原生开放性：极简、 0 负担接入 Zadig 业务架构 Zadig 系统架构 1 Zadig 行业方案 对比分析 职能 传统 DevOps 方案 ZadigX 云原生 DevOps 方案 降本提效 组织能力提升 业务负责人 研发不透明，规划凭感觉： • 发版时间靠运气

liangyongqing1@jd.com 提供的服务 1. 用于实验的 GPU 容器 2.基于 Kubeflow 的机器学习训练服务 3.模型管理和模型 Serving 服务 Experiment Training Serving 均基于容器，不对业务方直接提供 GPU 物理机 GPU 实验 JDOS 常规的容器服务 ，使用 gpu 的 zone ， 自行设定相应的镜像即 可，有完善的周边服务 可，有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 – 用户训练完成后释放 GPU 资源，提高 GPU 利用率 – Job 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 可以查看具体的容器列表，以及查看容器的日志和事件 Serving 服务 提供统一便捷的 Serving 服务，只需用户指定模型，即可提供 grpc 和 rest 服务，同时使用 GPU 复用 +HPA 提高 GPU 利用率

课程大纲 • 分为前半段和后半段，前半段主要介绍现代 C++ ，后半段主要介绍并行编程与优化。 1.课程安排与开发环境搭建： cmake 与 git 入门 2.现代 C++ 入门：常用 STL 容器， RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： 今天，双核或者四核机器在多线程应用方面，其性能不见得的是单核机器的两倍或者四倍。 这一问题一直伴随 CPU 发展至今。 并发和并行的区别 • 运用多线程的方式和动机，一般分为两种。 • 并发：单核处理器，操作系统通过时间片调 度算法，轮换着执行着不同的线程，看起来 就好像是同时运行一样，其实每一时刻只有 一个线程在运行。目的：异步地处理多个不 同的任务，避免同步造成的阻塞。 • 并行：多核处理器，每个处理器执行一个线 0 分 45 秒 0 分 30 秒 解决 1 ：线程数量超过 CPU 核心数量，让系统调度保证各个核心始终饱和 • 因此，最好不是按照图像大小均匀等分，而是按照工 作量大小均匀等分。然而工作量大小我们没办法提前 知道……怎么办？ • 最简单的办法：只需要让线程数量超过 CPU 核心数量 ，这时操作系统会自动启用时间片轮换调度，轮流执 行每个线程。 • 比如这里分配了 16 个线程，但是只有

课程大纲 • 分为前半段和后半段，前半段主要介绍现代 C++ ，后半段主要介绍并行编程与优化。 1.课程安排与开发环境搭建： cmake 与 git 入门 2.现代 C++ 入门：常用 STL 容器， RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： ？因为访问的 对象， int 的大小是 4 。 指针的索引：尽量用 size_t eax = *(int *)(rdi + rsi * 4) size_t 在 64 位系统上相当于 uint64_t size_t 在 32 位系统上相当于 uint32_t 从而不需要用 movslq 从 32 位符号扩展 到 64 位，更高效。而且也能处理数组大 小超过 INT_MAX 的情况，推荐始终用 size_t 编译器优化：常量折叠 编译器优化：举个例子 编译器优化：我毕竟不是万能的 结论：尽量避免代码复杂化，避免使用会造 成 new/delete 的容器。 简单的代码，比什么优化手段都强。 造成 new/delete 的容器：我是说，内存分配在堆上的容器 • 存储在堆上（妨碍优化）： • vector, map, set, string, function, any • unique_ptr