Apache RocketMQ 事务消息 王强 (辽天) 阿⾥里里巴巴 中间件技术专家 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能，分布式 5.0 Cloud-native, computing storage separating architecture� 典型应⽤用场景 ⾦金金融交易易 电⼦子商务 智能制造 分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker B Topic B ConsumerGroupA ClientRemotingProcessor RouteInfoManager DefaultRequestProcessor Store Service RemotingCommand • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件

Mesh产品多样化Service Mesh的优势 云原生 零入侵 可观察性 面向运维服务化之后，数据库怎么办？ 服务 • 无状态 • 根据规则路由 • 业务方处理事务 数据库 • 有状态 • 根据SQL路由 • 数据库自动处理事务数据库的进化趋势 • SQL • ACID • 分布式 RDBMS • SQL • BASE ACID • 分布式 NoSQL • SQL • Transparent Sharding Middleware Database-as-a-Service What's Really New with NewSQL?数据库中间层的优势 系统 •事务 运维 • DBA 开发 • SQL数据库中间层应具备的能力 分片化 多副本 数据一致性 弹性化 治理能力 观察能力数据分片 App2 DB App1 App3 App2 DB1 sync read分布式事务：定义 传统事务：ACID Atomicity - 原子性 Consistency - 一致性 Isolation - 隔离性 Durability - 持久性 柔性事务：BASE Basically Available - 基本可用 Soft state -软状态 Eventual consistency - 最终一致性分布式事务：分类 XA 最大努力送达

..................................................................................... 8 4.13 分布式事务 .................................................................................................. .........................................................................................22 7.7 事务消息 ................................................................................................ (4). 消息堆积后，访问堆积在磁盘的消息时，吞吏量有多大？ 4.13 分布式事务 已知的几个分布式事务规范，如 XA，JTA 等。其中 XA 规范被各大数据库厂商广泛支持，如 Oracle，Mysql 等。 其中 XA 的 TM 实现佼佼者如 Oracle Tuxedo，在金融、电信等领域被广泛应用。 分布式事务涉及到两阶段提交问题，在数据存储方面的方面必然需要 KV 存储的支持，因为第二阶段的提交回

OpenShift distributed tracing 平台来监控、网络性能分析，并对现代、云原生的微服务应用程 序中组件间的交互进行故障排除。 使用分布式追踪平台，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 分布式追踪平台由三个组件组成： Red Hat OpenShift distributed tracing Platform (Jaeger)，它基于开源 OpenShift distributed tracing 平台来监控、网络性能分析，并对现代、云原生的微服务应用程 序中组件间的交互进行故障排除。 使用分布式追踪平台，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 分布式追踪平台由三个组件组成： Red Hat OpenShift distributed tracing Platform (Jaeger)，它基于开源 OpenShift distributed tracing 平台来监控、网络性能分析，并对现代、云原生的微服务应用程 序中组件间的交互进行故障排除。 使用分布式追踪平台，您可以执行以下功能： 监控分布式事务 优化性能和延迟时间 执行根原因分析 分布式追踪平台由三个组件组成： OpenShift Container Platform 4.14 分布式追踪 分布式追踪 8 Red Hat OpenShift

，I3链接到I1。 (这里根据项集的数量排序成I2、I1、I3) Null l2:1 l1:1 l3:1 ② 再次扫描数据库并检查事务。检查第一个事务并找出其中的项集。计数 最大的项集在顶部，计数较低的下一个项集，以此类推。这意味着树的 分支是由事务项集按计数降序构造的。 35 3.FP-Growth算法 构建FP树 1.考虑到根节点为空(null)。 2. T1:I1、I2 中， {I2,I1,I3,I4:1}，{I2,I3,I4:1}。因此，将I4作为后缀， 前缀路径将是{I2,I1,I3:1}，{I2,I3:1}。这形成了条件 模式基。 3.将条件模式基视为事务数据库，构造FP树。这 将包含{I2:2,I3:2}，不考虑I1，因为它不满足最小支 持计数。 Null l4:1 l2:5 l1:4 l3:1 l5:1 l3:3 l4:1 l5:1 I1,I2.I5 2 I2,I4 3 I2,I3 4 I1,I2,I4 5 I1,I3 6 I2,I3 7 I1,I3 8 I1,I2,I3,I5 9 I1,I2,I3 事务数据库的建立 扫描事务数据库得到频繁项目集F I1 I2 I3 I4 I5 6 7 6 2 2 定义minsup=20%,即最小支持度为2,重新排列F I2 I1 I3 I4 I5 7 6 6 2 2

• 主负责写和事件分发 • 从负责读 • 底层对接分布式强一致性存储 • CAS 事务写 • 快照读 实现架构图 存储层 存储层 – 分布式 KV Store ByteKV • Multi Raft Goup • 全局有序 Range 分区 • 强一致性 • 支持多 key 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 etcd KubeBrain 单点写 -> 多点写 multi raft range 分片，增大写并发 Brain 层无磁盘 io，只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s 对象的索引和数据在同一分区内 跨分区分布式事务 -> 分区内单机事务 读优化 - 1 Range 读 Unary -> Stream 代替分页，降低延迟 内存高效复用，避免 OOM 读优化 - 2

实战）？ 下定决心后便开始了我的源码分析 RocketMQ 之旅，大概在 4 个多月的时间中连续 发表了 30 余篇文章，从 Nameserver、消息发送高可用设计、消息存储、消息消费、消 息过滤、事务消息等各个方面对其进行了体系化的剖析，边写边分享，边分享边传播，终于 得到了机械工业出版社华章分社的杨福川老师的认可，邀请我出书。 在杨老师和张工的帮助与指点下，经过将近半年的努力，书稿基本完稿。由于我当时是 消费会 积压。 三、事务消息 事务消息并不是为了解决分布式事务，而是提供消息发送与业务落库的一致性，其实现 原理就是一次分布式事务的具体运用，请看如下示例： 上述伪代码中，将订单存储关系型数据库中和将消息发送到 MQ 这是两个不同介质的 两个操作，如果能保证消息发送、数据库存储这两个操作要么同时成功，要么同时失败， RocketMQ 为了解决该问题引入了事务消息。 温馨提示，本节主 温馨提示，本节主要的目的是让大家知晓各个术语的概念，由于事务消息的使用，将在 该专栏的后续文章中详细介绍。 四、定时消息 开源版本的 RocketMQ 目前并不支持任意精度的定时消息。所谓的定时消息就是将消 息发送到 Broker，但消费端不会立即消费，而是要到指定延迟时间后才能被消费端消费。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 17 > 1.1 RocketMQ 核心概念扫盲篇

摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL面临： 1、容量有限，难以扩容 2、读写压力，QPS过大，特别是分析类需求会影响到业务事务 3、可用性不足，宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术：在业务侧增强数据 库的能力。 直接在业务代码使用。 Spanner Aurora GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库（注意，主要解决容量问题）。 3.分布式数据库 1、需要较多的机器资源； 2、 是一套开源的分布式数据库中间件解决方案组成的生 态圈，它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款相互独立，却又能够 混合部署配合使用的产品组成。 它们均提供标准化的数据分片、分布式事务和 数据库治理功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的 应用场景。 5.数据库解决方案 Level 3：Sharding-Proxy中间件（3.x+） Level 2：Sharding-JDBC框架（1

租户管理与申请 ⼈员初始化 ⾓⾊权限职责 企业场景建设 配额管理 应⽤⺫录 DevOps⼯具链 其他⼯ 具 DevOps ⼯具 初始化 ⼈员⾓⾊权限 初始化 配额管理 ⼯具链⽀撑体系 事务 跟踪 ⼯具 知识 库 代码托 管 制品仓 库 镜像仓 库 测试管 理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX 开发任务关联需求 ü 事务管理⼯具对任务进⾏ 细粒度拆解 ü 设置合理的任务⼤⼩， 跟 踪开发状态 ü IDE 与DevOps⼯具紧密 集成 ü 代码变更管理任务 ü 本地代码扫描保证质量 ü 推荐Git 分⽀管理模型 ü 代码提交触发流⽔线 ü 流⽔线⾃动进⾏单元测 试 ü 流⽔线⾃动进⾏编译打 包 ü 流⽔线⾃动⽣成镜像 ü 流⽔线⾃动部署更新服 务 ü 事务管理⼯具跟踪状态

中去，即不处理， 所以不会被消息 更新 transaction stable table： 如果是 prepared 消息记，通过 TransactionStateService 服 务将消息加到存储事务状态的表格 tranStateTable 的文件中；如果是 commitType 和 rollbackType 消息， 修改事物状态表格 tranStateTable 中的消息状态。 记 录 Transaction TSStoreUnitSize 2.2.4 事物回查 定时回查线程会定时扫描（默认每分钟）每个存储事务状态的表格文件， 遍历存储事 务状态的表格记录 如果是已经提交或者回滚的消息调过过， 如果是 prepared 状态的如果消息小于事务回查至少间隔时间（默认是一分钟）跳出终 止遍历 调 transactionCheckExecuter.gotocheck