Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 事务状态改为 Abort • BE 等待回收任务删除已写入数据 Phase 2 总结 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效，无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 （多版本机制） （两阶段导入） 事务能力保证 使用案例 At-Most-Once 制定 Label 生成策略 • 外部系统需要保证自身的 At-Least-Once，这样就可以保证 导入流程的 Exactly-Once。 程序自身保证 At-Least-Once 多表原子性导入 • 每个表拆分多个任务，并下发BE • BE执行后汇报FE • FE 判断导入多数完成 publish 生效版本 • 后续查询规划时使用新的数据版本 04 使用案例 Exactly

第三届中国Rust开发者大会 Rust Atomic Deep Dive Pu Wang @ DatenLord 2023/06/17 Rust原子操作高性能实践 What are atomic operations in Rust? What Why need atomic operations? Why How 01 02 03 Memory order in atomic operations

求无符号余数 R REMU rd,rs1,rs2 跨步取数 R VLDS rd,rs1,rs2 索引取数 R VLDX rd,rs1,rs2 类别 名称 类型 RV32A （原子操作） 存数 S VST rs2,imm(rs1) 取数 预订取数 R LR.W rd,(rs1) 跨步存数 R VSTS rd,rs1 AMOSWAP.W rd,rs2,(rs1) 原子交换 R AMOSWAP rd,rs1,rs2 加 加 R AMOADD.W rd,rs2,(rs1) 原子加 R AMOADD rd,rs1,rs2 逻辑 异或 R AMOXOR.W rd,rs2,(rs1) 原子异或 R AMOXOR rd,rs1,rs2 R AMOAND.W rd,rs2,(rs1) 原子与 R AMOAND rd,rs1,rs2 或 R AMOOR.W rd,rs2,(rs1) 原子或 R AMOOR rd,rs1,rs2 最小/最大 最小 R AMOMIN.W rd,rs2,(rs1) 原子最小 R AMOMIN rd,rs1,rs2 最大 R

现在很多“老年”教材对 cpp 的认识也停留在 C++03 ， B 站 / 油管偶尔翻出几个介绍 C++11 新特性的视频已经算很先进很前卫了，然而现在 C++23 的标准都已经开始往官网上挂了…… 第 7 章：原子操作 经典案例：数组求和 • 如何并行地对数组进行求和操作？ • 首先让我们试着用串行的思路来解题。 • 因为 __global__ 函数不能返回值，只能 通过指针。因此我们先分配一个大小为 这样一来最后 sum[0] 的值是 arr[1] 。而不是我们期望的 arr[0] + arr[1] ，即算出来的总和变少了！ 解决：使用原子操作 • 所以，熟悉 CPU 上并行编程的同学们可 能就明白了，要用 atomic 对吧！ • 原子操作的功能就是保证读取 / 加法 / 写回 三个操作，不会有另一个线程来打扰。 • CUDA 也提供了这种函数，即 atomicAdd 。效果和 res 里追加数据的效果（ push_back ）， 其中 sum 起到了记录当前数组大小的作 用。 • 因为返回的旧值就相当于在数组里“分配”到 了一个位置一样，不会被别人占据。 其他原子操作 • atomicAdd(dst, src) ： *dst += src • atomicSub(dst, src) ： *dst -= src • atomicOr(dst, src) ：

......................................................................................... 62 第六章 原子指令 ................................................................................................ 5678]，0xefcdab89。 它汇编成（十六进制）： 67 66 f0 3e 81 84 8e 78 56 34 12 89 ab cd ef。 最后 8 个字节是 2 个地址，前 7 个字节指 定原子的存储器操作， 加操作，32 位数据，数 据段寄存器，2 个地址 寄存器和缩放索引寻 址模式。 1 字节指令的 例子是汇编成 40 的指 令 inc eax。 20 用于链接的巧妙技巧。汇编语言包括所有符合规则的 的标准扩展。当它们添加到 RIV32I 中的时候，我们统称 RV32G（G 代表一般）： ⚫ 第四章：乘法和除法（RV32M） ⚫ 第五章：浮点操作（RV32F 和 RV32D） ⚫ 第六章：原子操作（RV32A） 第 3 页和第 4 页的 RISC-V“参考卡”是本书中所有 RISC-V 指令（RV32G，RV64G 和 RV32 / 64V）的摘要。 第七章介绍了可选的压缩扩展

. . . . . . . . . . . . . . . . . . . . . . 66 7.5 原子操作与内存模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 原子操作 . . . . . . . . . . . . . . . . . . . . . . . . . 而更好的利用多个消费者之间的并发。话虽如此，但实际上因为 std::mutex 的排他性，我们根本无法 期待多个消费者能真正意义上的并行消费队列的中生产的内容，我们仍需要粒度更细的手段。 67 7.5 原子操作与内存模型 第 7 章并行与并发 7.5 原子操作与内存模型 细心的读者可能会对前一小节中生产者消费者模型的例子可能存在编译器优化导致程序出错的情况 产生疑惑。例如，布尔值 notified 没有被 volatile 们忽略竞争 读写，仍然可能受 CPU 的乱序执行，编译器对指令的重排的影响，导致 a = 5 发生在 flag = 1 之后。 从而 b 可能输出 0。 68 7.5 原子操作与内存模型 第 7 章并行与并发 原子操作 std::mutex 可以解决上面出现的并发读写的问题，但互斥锁是操作系统级的功能，这是因为一个互 斥锁的实现通常包含两条基本原理： 1. 提供线程间自动的状态转换，即『锁住』这个状态

第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 尽管通道可以帮助我们轻松地写出正确的并发代码（第38章），和其它并发同步技 术一样，通道并不会阻止我们写出不正确的并发代码（第42章）。 通道并非在任何场合总是最佳的并发同步方案，请阅读其它并发同步技术（第39 章）和原子操作（第40章）来了解Go中支持的更多的并发同步技术。 本书由老貘历时三年写成。目前本书仍在不断改进和增容中。你的赞赏是本书和 Go101.org网站不断增容和维护的动力。 赞赏 （请搜索关注微信公众号“Go 通道（第21章）一文已经解释了如何使用通道来做并发同步。 除了使用通道，Go还 支持几种通用并发同步技术，比如互斥锁和原子操作。 请阅读下面的文章来了解各 种并发同步技术的使用。 通道用例大全（第37章） 如何优雅地关闭通道（第38章） sync标准库包中提供的并发同步技术（第39章） sync/atomic标准库包中提供的原子操作技术（第40章） 我们也可以利用网络和文件读写来做并发同步，但是这样的并发同步方法使用在一

第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 尽管通道可以帮助我们轻松地写出正确的并发代码（第38章），和其它并发同 步技术一样，通道并不会阻止我们写出不正确的并发代码（第42章）。 通道并非在任何场合总是最佳的并发同步方案，请阅读其它并发同步技术（第 39章）和原子操作（第40章）来了解Go中支持的更多的并发同步技术。 本书由老貘 历时三年写成。目前本书仍在不断改进和增容中。你的赞赏是本 书和Go101.org网站不断增容和维护的动力。 （请搜索关注微信公众号“Go 通道（第21章）一文已经解释了如何使用通道来做并发同步。 除了使用通道， Go还支持几种通用并发同步技术，比如互斥锁和原子操作。 请阅读下面的文章 来了解各种并发同步技术的使用。 通道用例大全（第37章） 如何优雅地关闭通道（第38章） sync标准库包中提供的并发同步技术（第39章） sync/atomic标准库包中提供的原子操作技术（第40章） 我们也可以利用网络和文件读写来做并发同步，但是这样的并发同步方法使用

Group，简称IEG）自用的一套用于 构建企业研发运营一体化体系的PaaS开发框架，提供了aPaaS（DevOps流水线、运行环境托管、前后台框架）和 iPaaS（持续集成、CMDB、作业平台、容器管理、数据平台、AI等原子平台）等模块，帮助企业技术人员快速构建基 础运营PaaS。 腾讯蓝鲸智云秉承开放共赢的理念，以改变中国运维行业为起点，致力于推动国内企业借助研发运营一体化，低成本 实现企业IT经营管理模式升级和自主化。 有直 观规律的。 服务器数量，也就是操作单元，有二十余万。 随着容器技术的普及，操作单元的数量还会暴涨。 所有业务之间无关联 业务操作单元暴涨 运维转型，困难重重 蓝鲸进化第1步：抽象原子平台 蓝鲸配置平台 获取资源 新建大区 主机注册 创建DB 初始化数 据 拉起业务 进程 布署监控 开新区 部署程序 测试验证 清理脏数 据 对外开放 获取新主 机 CMDB注 对外开放 蓝鲸作业平台 蓝鲸进化第2步：场景与原子的分离 API Gateway 服务组件A 服务组件B 服务组件C 服务组件D 故障机替换 新版本发布 基础监控系统 扩容管理系统 …… …… 原子A 原子B 原子C 原子D 原子E IaaS管理 配置平台 作业平台 容器管理 DB管理 什么叫 PaaS …… 原子A 原子B 原子C 原子D 原子E 管控接入 配置平台 作业平台 容器平台 数据平台

第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 尽管通道可以帮助我们轻松地写出正确的并发代码（第38章），和其它并发同 步技术一样，通道并不会阻止我们写出不正确的并发代码（第42章）。 通道并非在任何场合总是最佳的并发同步方案，请阅读其它并发同步技术（第 39章）和原子操作（第40章）来了解Go中支持的更多的并发同步技术。 本书由老貘 ? 历时三年写成。目前本书仍在不断改进和增容中。你的赞赏是 本书和Go101.org网站不断增容和维护的动力。 赞赏 （请搜索关注微信公众号“Go 通道（第21章）一文已经解释了如何使用通道来做并发同步。 除了使用通 道，Go还支持几种通用并发同步技术，比如互斥锁和原子操作。 请阅读下面 的文章来了解各种并发同步技术的使用。 通道用例大全（第37章） 如何优雅地关闭通道（第38章） sync标准库包中提供的并发同步技术（第39章） sync/atomic标准库包中提供的原子操作技术（第40章） 我们也可以利用网络和文件读写来做并发同步，但是这样的并发同步方法使用