作为一款高吞吐，抗万亿消息堆积的云原生消息平台，目前已 经被国内 75% 以上互联网、金融等公司所采用，逐渐成为企业 IT 架构的核心基础设施。 丁威老师作为资深架构师，在分布式架构、存储方面功底深厚，目前在企业内部负责着 日均千亿级消息流转的 RocketMQ 集群。本书不仅由浅入深的介绍了 RocketMQ 的架 构与实现，而且包含了多年线上超大规模集群开发运维经验的总结，通过本书不仅能够掌握 分布式消息平台的设计原 ，因此会 通过追踪源码来寻求答案，如果大家想急于答案，可以跳过问题分析，直接查看本文末尾的 问题解答部分。 通过本文的阅读，您将获得如下信息： 1. RocketMQ 消费 TPS 的收集与计算逻辑。 2. RocketMQ 监控指标的设计思路。 3. RocketMQ 主从同步，消费者从主服务器拉取还是从从服务器拉取的判断逻辑。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 将数据返回给前段页面 进行展示。 接下将聚焦到消费组消费 TPS 的统计处理，其入口为 tpsGroupGetNums 。 2. rocketmq 消费 TPS 统计实现原理 消费 TPS 计算逻辑 首先我们还是从 tpsGroupGetNums 方法入手，探究一下 tps 的获取逻辑，然后再 探究数据的采集原理（这也是 rocketmq 监控相关）。 BrokerStatsManager#tpsGroupGetNums

ect 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 轻量级队列 rocketm q-strea m s 轻量级实时计算 引擎发布 5.0 消息事件流融合处理平台 Sta r: 1 .7w C on tributor: 50 0 + RocketMQ 发展历程 W r i t e h e r e S o m e t h i n 多场景 云原生时代的挑战 云原生四要素 云原生时代的 RocketMQ admin 富客户端 轻量级 SD K API兼容 计算 云存储 VPC 网络 Kubernetes Name Server Name Server Name Server 计算集群 可观测 remoting gRPC MQTT AMQP AC L 消息 事件 Subscription 多租户 Store 轻量级SDK： • 全面支持云原生通信标准 gRPC 协议 • 无状态 Pop 消费模式，多语言友好，易集成 从业务走向数据： • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离： • Broker 升级为真正的无状态服务节点，无 binding • Broker和Store节点分离部署、独立扩缩 • 可分可合，适应多种业务场景，降低运维负担 云原生基础设施：

processQueue 的 lock 属性是否为 true，lock 属性是否过期，如果为 false 或者过期， 放到本地线程稍后锁定在消费。 如果 lock 为 true 且没有过期，开始消费消息 计算任务执行的时间如果大于一分钟且线程数小于队列数情况下，将 processqueue， messagequeue 重新构建 ConsumeRequest 加到线程池 10ms 后在消费，这样防止个别队列被 获取，此函数如果集合中一个也没有创建一个，如果最后一个写满了也创 建一个新的。 MapedFileQueue 在获取 getLastMapedFile 时，如果需要创建新的 MapedFile 会计算出下 一个 MapedFile 文件地址，通过预分配服务 AllocateMapedFileService 异步预创建下一个 MapedFile 文件，这样下次创建新文件请求就不要等待，因为创建文件特别是一个 indexCount 4 位 int 类型，索引文件中构建的索引个数 槽位 slot, 默认每个文件配置的 slot 个数为 500 万个， 每个 slot 是 4 位的 int 类型数据 计算消息的对应的 slotPos=Math.abs(keyHash)%hashSlotNum 消息在 IndexFile 中的偏移量 absSlotPos = IndexHeader.INDEX_HEADER_SIZE

computing storage separating architecture� 典型应⽤用场景 ⾦金金融交易易 电⼦子商务 智能制造 分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker B Topic B ConsumerGroupA ConsumerGroupB Consumer RocketMQ 存储设计 Cloud Native 的定义 • 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战 • 缺少稳定的多语⾔言类库 • Cloud AI Ops⽅方⾯面

1. 根据消息从 DB 查询数据 1 2. 根据消息从 DB 查询数据 2 3. 复杂的业务计算 4. 吐 DB 揑入数据 3 5. 吐 DB 揑入数据 4 返条消息的消费过程不 DB 交互了 4 次，如果挄照每次 5ms 计算，那举总共耗时 20ms，假设业务计算耗时 5ms， 那举总过耗时 25ms，如果能把 4 次 DB 交互优化为 2 次，那举总耗时就可以优化到

来源网站：链滴 许可协议：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) Apache RocketMQ 介绍 概要 Apache RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容 和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送，非常适合运用在金融和电 商务领域。目前他是Apache社区的顶级项目，在全球有超过100家公司在其业务中使用RocketMQ RocketMQ 介绍 。 其他消息中间件 RabbitMQ是AMQP规范的参考实现，AMQP是一个线路层协议，面面俱到，很系统，也稍显复杂。 前RabbitMQ已经成为OpenStack Iaas平台首选的消息服务，其背后的支持力度不言而喻。 ActiveMQ最初主要的开发者在LogicBlaze，现在主要开发红帽，是JMS规范的参考实现，也是Apach 旗下的老牌消息服务引擎。JMS虽说是一

...... 17 Page 3 of 18 背景介绍 Apache RocketMQ 是一款 java 语言开发的开源的、分布式的消息投递与流数据平台。 最早于 2016 年由阿里巴巴捐献给了 Apache 基金会，2017 年成为 Apache 的 顶级项 目，RocketMQ 具有低延迟，金融级高可用以及厂商中立的特点，目前广泛使用于国内