为了解开上述两个疑问，我们优先来看一下 Broker 服务器在收到提交消息消费进度反 馈命令后的处理逻辑： 客户端定时向 Broker 端发送更新消息消费进度的请求，其入口为：RemoteBroker OffsetStore#updateConsumeOffsetToBroker，该方法中一个非常关键的点是：选择 broker 的逻辑，如下所示： 如果主服务器存活，则选择主服务器，如果主服务器宕机，则选择从服务器。也就是说， ，直接查看本文末尾的 问题解答部分。 通过本文的阅读，您将获得如下信息： 1. RocketMQ 消费 TPS 的收集与计算逻辑。 2. RocketMQ 监控指标的设计思路。 3. RocketMQ 主从同步，消费者从主服务器拉取还是从从服务器拉取的判断逻辑。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 51 > 1.5 踩坑记：rocketmq-console rocketmq-console 数据获获取逻辑探讨 要解开消费 TPS 显示为０的问题，我们首先要来看一下 rocketmq-console 这个 页面的展示逻辑，即通过阅读 rocketmq-console 的源码来解开其采集逻辑。 得知，【消费者】界面查询各个消费组的基本信息的接口为 /consumer/groupList. query，那接下来，我们首先从源码的角度来分析该接口的实现逻辑。其入口如下： org

DefaultMessageStore 加消息写入 commitlog 2.2 分布式事物消息落地 2.2.1 消息落地 commitLog 针对事物消息的处理，消息的第 20 位开始的八位记录是的消息在逻辑队列 中的 queueoffset， 但是针对事物消息为 preparedType 和 rollbackType 的存储的是事物状态 表的索引偏移量 2.2.2 分发事物消息： 分发消息位置信息到 方式：rocketmq 已经提供了很全面的实现， consumer 通过长轮询拉取消息后回调 MessageListener 接口实现完成消费， 应用系统只要 MessageListener 完成业务逻辑即可 2. Pull 方式：完全由业务系统去控制，定时拉取消息，指定队列消费等等， 当然这里需要 业务系统去根据自己的业务需求去实现 下面介绍默认以 push 方式为主， 因为绝大多数是由 二：消息存储 Rocketmq 的消息的存储是由 consume queue 和 commitLog 配合完成的 1） consume queue 消息的逻辑队列，相当于字典的目录用来指定消息在消息的真正的物理 文件 commitLog 上的位置, 每个 topic 下的每个 queue 都有一个对应的 consumequeue 文件。 文件地址：${user

建立长连接，丏定时吐 Master、Slave 収送心跳。Consumer 既可以从 Master 订阅消息，也可以从 Slave 订阅消息，订阅规则由 Broker 配置决定。 5.3 RocketMQ 逻辑部署结构 Broker集群 Producer Group A P1 P2 P3 Producer Group B P1 P2 P3 Consumer Group B C1 C2 Group A C1 C2 C3 Message TopicA Message TopicB、TopicC TopicA、TopicB TopicB 图表 5-3RocketMQ 逻辑部署结构  Producer Group 用来表示一个収送消息应用，一个 Producer Group 下包含多个 Producer 实例，可以是多台机器，也可以 是一台机器的多个迕程，戒者一个迕程的多个 Index Linked List 500W Header Slot Table Index Linked List 40B 4 * 500W 20 * 2000W 图表 7-3 索引的逻辑结构，类似 HashMap 实现 1. 根据查询的 key 的 hashcode%slotNum 得到具体的槽的位置（slotNum 是一个索引文件里面包含的最大槽的数目， 例如图中所示

Overlay/Underlay NVMe 普通云盘 ESSD 云盘 SA TA 独占/混部/独立交付…… • 集群节点异常成为常态 • 依赖服务随时可能在进行迁移或重启 • 对弹性的要求开始从物理资源变为逻辑资源 • IaaS 的多样性对应用交付部署提出了更高要求 • 可运维性、可观测性带来了更大挑战 • 多租环境带来了更高的网络及安全隔离要求 • 无限资源 vs 有限成本 • 冗长的请求链路，膨胀的技术栈 容量调整时，不能产生数据迁移，且要在秒级完成 固定分区使用场景 • 任务计算过程中，会将同一个业务类型的数据发到同一个队列 • Binlog 等数据同步过程中，需要保证严格顺序 RAFT 存储支持：自动主从切换，强一致性保证 逻辑队列：秒级无损弹性扩缩，无数据复制，流量精准调度 消息与流融合索引支持 核心问题 • 消息体小且存储结构面向单 条消息，导致提升吞吐困难 • 在进行状态存储时，无 KV 语义支撑 挑战

Network Configuration 网络配置 1 Availability Zones AvailabilityZones 必填项 ⼦网可用区的列表。 您指定的 逻辑顺序会被保留。此部署使用 Page 8 of 18 2 个或 3 个可用区。完 成选择 后，请确保“可用区数量”参数 与 您此处的选择是一致的。 2 Number

Network Configuration 网络配置 1 Availability Zones AvailabilityZones 必填项 ⼦⽹可⽤区的列表。 您指定的 逻辑顺序会被保留。此部署使⽤ 2 个或 3 个可⽤区。完 成选择 后，请确保“可⽤区数量”参数 与您此处的选择是⼀致的。 2 Number of Availability Zones