PolarDB-X 如 何 做 生 态兼 容 好的 MySQL 兼容性可以做到什么程度 胡中泉（舟济） 阿里云数据库解决方案架构师为什么要兼容 MySQL 01 The longer you look back, the farther you can look forward.也从阿里巴巴的“去IOE”运动说起 业务驱动下的分布式技术实践之路 5月17日，支付宝最后一台小型 机下线标志去IOE落下帷幕 MySQL Binlog 可行性 • 多节点产生多个增量事件队列 • 不同队列中事件之间的顺序 • 分布式事务完整性 • DDL 引起的多 Schema 版本问题 • 扩缩容引起的队列增减 ? Maxwell Debezium A: PolarDB-X 全局 Binlog：完全兼容 • 与 MySQL Binlog 体验完全一致 • 保障分布式事务完整性 • 透明：下游系统或工具改造成本为零 Binlog 完全一致体验 • 文件格式兼容：Binlog v4 row-based • SQL 指令兼容：show binary logs… • MySQL DUMP 协议 • 保证分布式事务完整性与顺序 • 同一连接串 已验证工具或系统 • MySQL Slave（change master） • DTS • Canal/CloudCanal • Maxwell • Debezium

方案实现 方案一：chubaofs 方案二：事务方案 方案三：利用 KV 自带的分布式事务 Q&A 1. 是否需要实现跨文件系统的 rename 操作？ 2. 在多客户端情况下，是否需要加锁来保证其原子性？ 3. rename 流程举例说明？ 例 1：rename A→B (A 存在，而 B 不存在) 例 2：rename A→C (A 存在，而 C 存在) 4. 当 2 个操作的 dentry 的 inode id）。 关于 rename 接口的实现，主要调研了 chubaofs 和 juicefs，而 rename 的实现难点主要在于其原子性的保证。 方案调研 Chubaofs chubaofs 中的 rename 实现不是原子性的，它是通 用创建源文件的硬连接，然后删除源文件的方式来实现的，主要有以下 4 步 ： 将源文件的 nlink 加一 创建目标文件的 dentry 删除源文件的 dentry，相当于多了一个硬链接，Linux 和 POSIX 这一步出错 接口中表明这允许一段时间内存在，但是最终还是要原子性，所以这一步出错会导致和本地文件系统不一致的行为： Linux 接口定义允许 rename 过程中某一段时间存在这样的硬链接（或者 rename 执行到一半断电也会存在） 而 POSIX 接口中提到了该函数得是原子（不断电的情况下，rename 操作不能被其他操作打断，不存在中间状态） 参考： Is

OpenAtom openEuler（简称“openEuler”） 社区是一个面向数字基础设施操作系统的开源社区。由开放原子开源基金会（以 下简称“基金会”）孵化及运营。 openEuler 是一个面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算， 致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种处 理器架构、覆盖数字基础设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 openEuler 正式成立。 2020 年 3 月 30 日， openEuler 20.03 LTS （Long Term Support，简写为 LTS，中文为长生命周期支持）版本正式发布，为 发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 openEuler 已支持 x86、Arm、SW64、RISC-V、LoongArch 多处理器架构，逐步扩展 PowerPC 等更多芯片架构支持，持续完 善多样性算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边缘计算、 嵌入式等更多场景。openEuler 正

openEuler 社区，是一个面向数字基础设施操作系统的开源社区，简称 openEuler 或者 openEuler 社区。由开放原子开源基金会（以下简称“基金会”）孵化及运营。 openEuler 是一个面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算， 致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持 多种处理器架构、覆盖数字基础设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 openEuler 正式成立。 2020 年 3 月 30 日， openEuler 20.03 LTS （Long Term Support，简写为 LTS，中文为长生命周期支持）版本正式发布， openEuler 22.03 LTS 创新版本 openEuler 22.09 openEuler 23.03 长生命周期版本 : 每两年发布一次，在创 新版本基础上提供长生命周期管理，维护 性能，可靠性和兼容性 创新版本 : 长生命周期版本之间每半年发 布一次，集成 openEuler 以及其他社区最 新版本技术进展。 openEuler 社区主线 20.03 首个创新版 内核创新版 云原生创新版

openEuler 开源社区 2024年Q2 openEuler 是由开放原子开源基金会 （OpenAtom Foundation）孵化及运营的开源项目 为世界提供开源软件 为开源软件提供指导、虚拟协作空间、创新平台和服务 在社区开发、管理和孵化开源软件，并且与其他许多开源社区合作 openEuler : 面向数字基础设施的开源操作系统 openEuler 是？ openEuler 愿景 Technology 服务器 支持多样性设备 主流计算架构100%覆盖 ARM, x86, RISC-V, SW-64, LoongArch; NPU, GPU, DPU, 100+ 整机, 300+ 板卡 云计算 边缘计算 嵌入式 openHarmony 多样性算力支持最佳 X86、Arm、RISC-V、龙芯、SW64、Power 等主流处理器架构全支持。 全栈原子化解耦 榫卯架构，版本灵活构建、服务自由组合，实现 基于AI的故障处理框架 … 云原生/边缘场景 KubeOS 云原生OS Eggo 一键部署平台 Rubik 在离线混布 Kmesh 高性能服务网格 … 嵌入式场景 MICA 混合关键性部署 ZVM 嵌入式VMM Rust-Shyper 虚拟机监视器 … 开发服务 Eulerlauncher 本地开发环境 EulerMaker 构建工具 EulerTest 自动化测试

实时内核UniProton及其混合关键性部署的实践 openEuler全新升级，成为数字基础设施开源操作系统 Communication Technology Information Technology Operational Technology + + ERP BSS/OSS CRM DCS NFV SCADA … 覆盖全场景应用 服务器 云计算 边缘计算 嵌入式 支持多样性设备 从服务器，到云、到边缘计算，到CT和OT的 从服务器，到云、到边缘计算，到CT和OT的 嵌入式场景，成为面向数字基础设施统一的开 源操作系统 全栈原子化解耦，支持版本灵活构建、服务自由组合， 这样通过一套架构，来灵活支持南向多样性设备，北 向全场景应用 操作系统碎片化 导致数字基础设施产生大量“软烟囱”：生态割裂；重复开发；协同繁琐 首个社区共建的全场景版本openEuler22.03 LTS已 正式发布，版本持续迭代和创新 LTS版本 缘起：一个运动控制系统(机器人,数控机床….) 智能控制 （人机交互, 路径规划,导航) 行为控制 （轨迹追踪、碰撞检测，状态检测) 实时控制 （运动控制、传感器、动作 器) 灵活性 高 低 实时性、可靠性 高 低 过去 现在 Linux 应用处理器 (S3C2440) 应用 存储 外设 通信 RTOS 微控制器 (Cortex M3/M4) 应用 存储 外设 通信 Baremetal

2. 1. 2. 1. 1. 2. 3. 4. 5. 缺点： moosefs是单mds，所以不存在接口原子性的问题，这块要重新考虑，我们实现上会比moosefs复杂，需要引入一些额外的复杂性。 由于是按目录管理trash，那么必须是两个trash（其中一个是reserve）以区分两种不同的情况。 chubaofs chubaofs的方案如下： node id 由于inode放在原地，那么由于dentry已经被删除，那么查询工具就较为复杂，不能复用原有的client逻辑，需要组织成moosefs那样的meta文件系统可能需要引入额外的复杂性，但是依然可以实现简单的 工具查询。 由于该方案，删除的inode是分散于每个partition中，那么查询工具可能需要遍历所有partion去查询所有的删除inode。 第二种方案： 将inod moosefs实现一个meta文件系统来管理，更为优雅。 但是缺点是DEL和UNDEL需 ，这部分处理会引入 。（这个过程其实类似于rename） 要在trash下创建和删除dentry 额外的复杂性 由于moose是单文件系统，对于我们实现多文件系统，这里还有两种方案： ，二是每个fs一个trash，并且trash不能放在fs的根目录下，因为存在跟用户的目录重名的问题。 一是使用全局唯一的trash

服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应 用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 09 长生命周期版本 创新版本 openEuler 社区主线 首个创新版 内核创新版 全场景版本 长生命周期版本：每两年发布一次， 在创新版本基础上提供长生命周期管理； 维护性能、可靠性和兼容性。 创新版本：长生命周期版本之间每 半年发布一次，集成 openEuler 以及其他社区最新版本技术进展 全场景长周期版 20.03 20.09 21.03 21.09 22.03 22.09 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能优于 内核态 swap。 • 内存 RAS 增强：内存可靠性分级技术，可以指定内核、关键进程等对内存故障敏感的数据优先使用高可靠内存，降 低宕机率，提升可靠性（技术预览特性）。

云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应用提供确定 性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 03 openEuler 21.09 长生命周期版本 创新版本 首个创新版 内核创新版 全场景版本 长生命周期版本：每两年发布一次， 在创新版本基础上提供长生命周期管理； 维护性能、可靠性和兼容性。 创新版本：长生命周期版本之间每 半年发布一次，集成 openEuler 以及其他社区最新版本技术进展 20.03 20.09 21.03 21.09 22.03 22.09 23.03 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法保障在线业务对 CPU 的实时抢占及抖动 抑制，创新业务优先级 OOM 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能

如果文件存在，且是个普通文件，具有对该文件的写权限，该flag会将文件长度截断为0。 O_TRUNC : 追加写，每次write都会将file offset 指向文件尾（file offset的修改和write操作在一个原子操作中完成）。 O_APPEND O_NONBLOCK O_NDELAY: O_NONBLOCK和O_NDELAY所产生的结果都是使I/O变成非阻塞模式(non-blocking)，在读取不到 ime的修改后，对O_NOFOLLOW和O_NOATIME进行测试（优先级中）。 3，目前I/O模式类flag（O_SYNC, O_DSYNC, O_NONBLOCK）经测试不会“影响“结果的正确性，后面继续对其实现方式进行研究（优先级中）。 参考文献 https://man7.org/linux/man-pages/man2/open.2.html https://www.cnblogs