消息存储服务器，分为两种角色：Master 与 Slave，上图中呈现的就是 2 主 2 从的部 署架构，在 RocketMQ 中，主服务承担读写操作，从服务器作为一个备份，当主服务器存 在压力时，从服务器可以承担读服务（消息消费）。所有 Broker，包含 Slave 服务器每隔 30s 会向 Nameserver 发送心跳包，心跳包中会包含存在在 Broker 上所有的 topic 的路 由信息。 本文 为：topic@consumeGroup，然后每一个队列一个偏移量。 广播模式的消费进度文件存储在用户的主目录，默认文件全路劲名：${USER_HOM E}/.rocketmq_offsets。 4. 消费模型 RocketMQ 提供了并发消费、顺序消费两种消费模型。 并发消费：对一个队列中消息，每一个消费者内部都会创建一个线程池，对队列中的消 息多线程处理，即偏移量大的消息比偏移量小的消息有可能先消费。 顺序消费：在某一项场景，例如 commitlog 文件中最大的偏移量，以该偏移量向服务端拉取消息；  服务端解析请求，并返回一批数据给客户端； 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 1.4 RocketMQ HA 核心工作机制 < 40  客户端收到一批消息后，将消息写入本地 commitlog 文件中，然后向 Master 汇报拉 取进度，并更新下一次待拉取偏移量；  然后重复第 3

先引入官方文档图： 分布式事物是基于二阶段提交的 1) 一阶段，向 broker 发送一条 prepared 的消息，返回消息的 offset 即消息地址 commitLog 中消息偏移量。Prepared 状态消息不被消费 发送消息 ok，执行本地事物分支， 本地事物方法需要实现 rocketmq 的回调接口 2）2） 2) LocalTransactionExecuter ， 针对事物消息的处理，消息的第 20 位开始的八位记录是的消息在逻辑队列 中的 queueoffset， 但是针对事物消息为 preparedType 和 rollbackType 的存储的是事物状态 表的索引偏移量 2.2.2 分发事物消息： 分发消息位置信息到 ConsumeQueue : 事物状态为 preparedType 和 rollbackType 的消息 不会将请求分发到 ConsumeQueue 事物状态表是有 MapedFileQueue 将多个文件组成一个连续的队列，它的存储单元是定 长为 24 个字节的数据， tranStateTableOffset 可以认为是事物状态消息的个数，索引偏移量， 它的值是 tranStateTable.getMaxOffset() / TSStoreUnitSize 2.2.4 事物回查 定时回查线程会定时扫描（默认每分钟）每个存储事务状态的表格文件，

多少对亍对外提供的访问能力影响有限。 (2). 消息堆积到持丽化存储系统中，例如 DB，KV 存储，文件记彔形式。 当消息丌能在内存 Cache 命中时，要丌可避免的访问磁盘，会产生大量读 IO，读 IO 的吞吏量直接决定了 消息堆积后的访问能力。 评估消息堆积能力主要有以下四点： (1). 消息能堆积多少条，多少字节？即消息的堆积容量。 (2). 消息堆积后，収消息的吞吏量大小，是否会叐堆积影响？ IO 压力极大，会导致 IO 写入超时。 文件系统局面需要做以下调优措施 文件系统 IO 调度算法需要调整为 deadline，因为 deadline 算法在随机读情冴下，可以合幵读请求为顺序跳跃 方式，从而提高读 IO 吞吏量。 Ext4 文件系统有以下 Bug，请注意 http://blog.donghao.org/2013/03/20/%E4%BF%AE%E5%A4%8D Byte 4 Byte Message Tag Hashcode 8 Byte 图表 7-1RocketMQ 队列 (1). 所有数据单独存储到一个 Commit Log，完全顺序写，随机读。 (2). 对最终用户展现的队列实际只存储消息在 Commit Log 的位置信息，幵丏串行方式刷盘。 项目开源主页：https://github.com/alibaba/RocketMQ

语义支撑 挑战 • Commitlog 格式存储， 统一复制算法 • 不借助外部依赖，提供 状态存储能力 • 单一数据文件，支持面向流的索引及面向 批的索引 • 批量发，批量存，批量读，吞吐提升十倍 • 统一消息，KV 语义，统一 API，提供 状态存储能力 • 流表二象性支持 W r i t e h e r e S o m e t h i n g a b o u t