下定决心后便开始了我的源码分析 RocketMQ 之旅，大概在 4 个多月的时间中连续 发表了 30 余篇文章，从 Nameserver、消息发送高可用设计、消息存储、消息消费、消 息过滤、事务消息等各个方面对其进行了体系化的剖析，边写边分享，边分享边传播，终于 得到了机械工业出版社华章分社的杨福川老师的认可，邀请我出书。 在杨老师和张工的帮助与指点下，经过将近半年的努力，书稿基本完稿。由于我当时是 能帮我作序推荐，令人惊喜的是冯嘉大神非常平易见人，得知我的来意后，他说了这样一句 话：“我是非常愿意为写书的朋友作序，但需要评估一下书稿的质量，如果质量 OK，非常 愿意效劳”。我备受鼓舞，在和出版社初步沟通后，将试读稿件再加上消息存储整章的内容 发给冯嘉大神后，经冯嘉大神认真审稿后，决定帮忙推荐作序，真的非常受鼓舞。 随着《RocketMQ 技术内幕》一书的正式出版上市，并得到广大读者朋友的认可，与 我比较“苦逼”，在带娃方面我的资源只有我老婆，父母在老家无法分身，故下班后我 没有连续的空闲时间专心投入一项任务中，而开源最需要的是精益求精，不只是需要完成功 能，而是要编写结构优良的代码，设计所占据的时间比代码开发时间要多的多，故我个人认 为我暂时不方便走代码贡献这条道路。但我零碎时间还是充足的，故现阶段我会好好利用这 些零碎时间，继续通过写文章的方式为开源项目贡献自己的一份力量。 本文来自『中间件兴趣

前言 此文档是从学习 rocketmq 源码过程中的笔记中整理出来的，由于时间及能力原因，理 解有误之处还请谅解，希望对大家学习使用 rocketmq 有所帮助。 Rocketmq 是阿里基于开源思想做的一款产品，代码托管于 github 上，要想学好用好 rocketmq //代表发送消息的在指定 broker 上指定 topic 下的队列编号 向指定 broker 的指定 topic 的指定 queue 发送消息 发送失败(1)重试次数不到两次(2)发送此条消息花费时间还没有到 3000(毫秒), 换 个队列继续发送。 2.1 producer 发送普通消息 2.2 顺序消息发送 Rocketmq 能够保证消息严格顺序，但是 Rocketmq 位开始的八位记录是的消息在逻辑队列 中的 queueoffset， 但是针对事物消息为 preparedType 和 rollbackType 的存储的是事物状态 表的索引偏移量 2.2.2 分发事物消息： 分发消息位置信息到 ConsumeQueue : 事物状态为 preparedType 和 rollbackType 的消息 不会将请求分发到 ConsumeQueue 中去，即不处理， 所以不会被消息

RocketMQ 开发挃南 针对 v3.2.4 ©Alibaba 消息中间件项目组 2015/1/7 文档变更历史 序号 主要更改内容 更改人 更改时间 1 建立初始版本 誓嘉 vintage.wang@gmail.com 2013/5/18 2 3.0 版本补充文档 誓嘉 vintage.wang@gmail.com 2013/8/16 单元都是定长，访问其中的存储单元使用 Offset 来访问，offset 为 java long 类型，64 位，理论上在 100 年内丌会溢出，所以讣为是长度无限，另外队列中只保存最近几天的数据，乀前的数据会挄照过期时间来 删除。 也可以讣为 Message Queue 是一个长度无限的数组，offset 就是下标。 4 消息中间件需要解决哪些问题？ 本节阐述消息中间件通常需要解决哪些问题，在解决返些 RocketMQ 所有消息都是持丽化的，所以如果挄照优兇级来排序，开销会非常大，因此 RocketMQ 没有特 意支持消息优兇级，但是可以通过发通的方式实现类似功能，即单独配置一个优兇级高的队列，和一个普通优兇级 的队列， 将丌同优兇级収送到丌同队列即可。 对亍优兇级问题，可以归纳为 2 类 1) 只要达到优兇级目的即可，丌是严格意丿上的优兇级，通常将优兇级划分为高、中、低，戒者再多几个级

clean -P release-all package -Dmaven.test.skip=true 编译后进入到 distribution/target目录，rocket-mq-xxx.tar.gz 和 rocket-mq-xxx.zip 两种，zip 是w ndow下的，tar.gz为Linux下的； tar.gz解压后的目录结构： . ├── LICENSE ├── NOTICE ├── README broker名字，不同的配置文件填写的不一样 brokerName=broker-a # 0 表示master，>0 表示slave brokerId=0 # 删除文件时间点，默认凌晨4点 deleteWhen=04 # 文件保留时间，默认48小时 fileReservedTime=48 # Broker的角色，AYNSC_MASTER=异步复制master，SYNC_MASTER=同步双写master，SLAVE= broker名字，不同的配置文件填写的不一样 brokerName=broker-b # 0 表示master，>0 表示slave brokerId=1 # 删除文件时间点，默认凌晨4点 deleteWhen=04 # 文件保留时间，默认48小时 fileReservedTime=48 # Broker的角色，AYNSC_MASTER=异步复制master，SYNC_MASTER=同步双写master，SLAVE=

许可协议：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) Apache RocketMQ 介绍 概要 Apache RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容 和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送，非常适合运用在金融和电 商务领域。目前他是Apache社区的顶级项目，在全球有超过100家公司在其业务中使用RocketMQ IO模块遇到了瓶颈，几经努力但改善成果不 。这时正值Kafka流行，于是引起了阿里巴巴开发团队的注意，对kafka的无限消息堆积，高效持久化 度等特性非常赞赏。但不幸的是，Kafka不能满足他们的要求，特别是在低延迟和高可靠性方面。在 种情况下，阿里巴巴决定发明一个新的消息传递引擎来处理更广泛的用例集，从传统的发布/订阅方 到大批量实时零损失容忍交易系统。 里程碑 2012年，阿里巴巴开始开发RocketMQ，经历了数次双11核心交易链路检验。 Incubator。 2017年9月25日 – Apache软件基金会，连同350多个开源项目的全体志愿者、开发人员、管理人员 和孵化项目组织，宣布Apache®RocketMQ™从Apache孵化器毕业成为顶级项目，这表明该项目的 区和产品已根据ASF的精英流程和原则得到了很好的管理。 现今，Apache RocketMQ在社区各方面的努力下，茁壮发展，很多功能都得到了加强。 RocketMQ的技术概览

Page 1 of 18 Apache RocketMQ on Amazon Web Services 部署手册 顾明 版本：v1.0.0 最后更新时间: 2021 年 01 月 Copyright (c) 2021 by Amazon.com, Inc. or its affiliates. Page 2 ........................................................... 14 如何登录 APACHE ROCKETMQ 的 NAMESERVER 和 BROKER NODE？ ........................................................ 17 Page 3 of RocketMQ 集群。 架构 AMAZON CloudFormation 提供了一种创建和管理相关 AMAZON WEB SERVICES 资源的简 便方法，并通过有序 且可预测的方式进⾏资源配置和更新。本快速⼊⻔提供两种部署 选项，一种是将 Apache RocketMQ 部署到新 VPC 环境中，另一种是 部署到已有 VPC 环 境中。使用默认参数为在新 VPC 环境中 部署以下资源。如果您选择的是将此方案部署

Page 1 of 21 快速部署高可用的 Apache RocketMQ 集群 部署手册 顾明 版本：v1.2.0 最后更新时间: 2023 年 11 月 Copyright (c) 2021 by Amazon.com, Inc. or its affiliates. Page 2 of 21 CONSOLE ....................................................... 16 如何登录 APACHE ROCKETMQ 的 NAMESERVER 和 BROKER NODE？ ........................................... 20 Page 3 of 21 背景介绍 RocketMQ 集群。 架构 Amazon CloudFormation 提供了⼀种创建和管理相关 AMAZON WEB SERVICES 资源的简便⽅法，并通过有序 且可预测的⽅式进⾏资源配置和更新。本快速⼊⻔提供 两种部署选项，⼀种是将 Apache RocketMQ 部署到新 VPC 环境中，另⼀种是 部署 到已有 VPC 环境中。使⽤默认参数为在新 VPC 环境中 部署以下资源。如果您选择的

91 96 101 106 111 116 121 126 131 136 141 146 1. 每秒支撑千万级消息发布 2. 每条消息发布最大响应时间 不超过20ms 3. 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 写入数据平均响应时间不超过1ms 写入数据最大响应时间不超过20ms（Java GC暂停线程引起） 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估 SLA=99.999% 1.4万亿 在线熔断机制 ①消息服务器 ②消息服务器 ③消息服务器 ④消息服务器 应用 规则 1. 最多只能隔离 30%的机器。 2. 响应时间过长， 开始隔离1分钟

91 96 101 106 111 116 121 126 131 136 141 146 1. 每秒支撑千万级消息发布 2. 每条消息发布最大响应时间 不超过20ms 3. 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 写入数据平均响应时间不超过1ms 写入数据最大响应时间不超过20ms（Java GC暂停线程引起） 1.4万亿 双十一当天高可用要求 ~~ 100% 低延迟的分布式存储系统 在线熔断机制 完善的容量评估 SLA=99.999% 1.4万亿 在线熔断机制 ①消息服务器 ②消息服务器 ③消息服务器 ④消息服务器 应用 规则 1. 最多只能隔离 30%的机器。 2. 响应时间过长， 开始隔离1分钟

Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件 - - - - - 1G - - - - - 6M - - - - - 400M 配置和状态相关 消息存储和检索相关 存储设计 producer message(topic, queueId, tags, keys, msgBody) commitlog 8 bytes | 4 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战 • 缺少稳定的多语⾔言类库 • Cloud AI Ops⽅方⾯面 • 容器器化部署，K8S编排 • 诸如IoT/I • 云上与云下产品的⽆无缝衔接能⼒力力差 云原⽣生与业界标准 OpenMessaging AMQP • 简单灵活 • 云原⽣生 • ⼚厂商中⽴立 • 语⾔言⽆无关 • ⾯面向消息和流的标准 关注阿⾥里里巴巴中间件微信公众号，与技术同⾏行行。 关注RocketMQ中国开发者公众号