目录 开篇：我的另一种参与 RocketMQ 开源社区的方式 6 1.1 RocketMQ 核心概念扫盲篇 10 1.2 生产环境中，autoCreateTopicEnable 为什么不能设置为 true 18 1.3 实战：RocketMQ 学习环境搭建指南篇 28 1.4 RocketMQ HA 核心工作机制 39 1.5 踩坑记：rocketmq-console 消费 TPS busy 104 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 115 1.13 RocketMQ DLedger 多副本即主从切换实战 121 1.14 RocketMQ msgId 与 offsetMsgId 释疑 131 1.15 RocketMQ ACL 使用指南 141 1.16 RocketMQ 消息轨迹-设计篇 RocketMQ 相关的文章，这些文章含金量极高，不仅及时跟进了 RocketMQ4.3.0 之后的新特性：消息轨迹、ACL、主从切换等机制，更是发表了数篇实战类文章，详细指 出在生产环境下一些使用误区，更是输出了几篇生产环境真实故障与解决方案。最终于 20 19 年 RocketMQ 官方社区授予我优秀布道师荣誉称号。 RocketMQ 成就了我，我也会继续努力，为传播 RocketMQ 尽一份力所能及的力量。

消费消息过程，使用了零拷贝，零拷贝包含以下两种方式 1. 使用 mmap + write 方式 优点：即使频繁调用，使用小块文件传输，效率也很高 缺点：丌能很好的利用 DMA 方式，会比 sendfile 多消耗 CPU，内存安全性控制复杂，需要避免 JVM Crash 问题。 2. 使用 sendfile 方式 优点：可以利用 DMA 方式，消耗 CPU 较少，大块文件传输效率高，无内存安全新问题。 2:9876"); 二、Java 启劢参数中挃定 Name Server 地址 -Drocketmq.namesrv.addr=192.168.0.1:9876;192.168.0.2:9876 三、环境发量挃定 Name Server 地址 export NAMESRV_ADDR=192.168.0.1:9876;192.168.0.2:9876 四、HTTP 静态服务器寻址（默讣） com/alibaba/RocketMQ 35 11.3 Message 数据结构 11.3.1 针对 Producer 字段名 默认 值 说明 Topic null 必填，线下环境不需要申请，线上环境需要申请后才能使用 Body null 必填，二进制形式，序列化由应用决定，Producer 与 Consumer 要协商好序列 化形式。 Tags null 选填，类似于

gin g 主从复制架构升级，性能提升数倍 RAFT 存储生产可用 rocketm q-con n ect 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 轻量级队列 rocketm q-strea m s 轻量级实时计算 引擎发布 5.0 消息事件流融合处理平台 Sta r: 1 .7w C on tributor: 50 0 IaaS 的多样性对应用交付部署提出了更高要求 • 可运维性、可观测性带来了更大挑战 • 多租环境带来了更高的网络及安全隔离要求 • 无限资源 vs 有限成本 • 冗长的请求链路，膨胀的技术栈 ……. 面向失败 松散耦合 基础设施解耦 极致弹性 多场景适应 低成本 高 SLA X 客户价值： X 多场景 云原生时代的挑战 云原生四要素 云原生时代的 RocketMQ admin Server 计算集群 可观测 remoting gRPC MQTT AMQP AC L 消息 事件 Subscription 多租户 Store Store Store Store Store Store 存储集群 高可用架构升级： • 秒级故障转移，多场景容灾支持 • 无外部依赖，节点间松散耦合 • 自建及云上异构 IaaS 基础设施支持，降低成本 轻量级SDK： • 全面支持云原生通信标准

SERVICES 资源的简便⽅法，并通过有序 且可预测的⽅式进⾏资源配置和更新。本快速⼊⻔提供 两种部署选项，⼀种是将 Apache RocketMQ 部署到新 VPC 环境中，另⼀种是 部署 到已有 VPC 环境中。使⽤默认参数为在新 VPC 环境中 部署以下资源。如果您选择的 是将此⽅案部署到已有 VPC 中，将跳过 (不创建) 带有星号（*）的组件，并提⽰ 您⽬ 前现有的配置。 按照默认 SSH Tunnel 来访问 Nameserver 的 Web Console。 1. 使用 ssh 命令建立和 Bastion Host 的 ssh 连接，下图中红色的部分参数需要 换成用户环境对应的参数 Page 17 of 21 命令：ssh -qTfnN -D PORTNUMBER -i KEYPAIR USERNAME@HOSTNAME 样例：ssh

- i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 未来展望 m w a l i b a b a - i n c . c o m n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 1.4万亿 RocketMQ 多副本高可靠 ZK provides: • Maintain persistent state Machine. • Maintain ephemeral broker status new state to ZK. Report status Change status Watch state machine Broker works as: 1.4万亿 RocketMQ 多副本高可靠 Variables Values & Description MTBF of Disk(Hours) 1200000, from Seagate(希捷) Time for recovery(Hours)

- i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 未来展望 m w a l i b a b a - i n c . c o m n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 1.4万亿 RocketMQ 多副本高可靠 ZK provides: • Maintain persistent state Machine. • Maintain ephemeral broker status new state to ZK. Report status Change status Watch state machine Broker works as: 1.4万亿 RocketMQ 多副本高可靠 Variables Values & Description MTBF of Disk(Hours) 1200000, from Seagate(希捷) Time for recovery(Hours)

资源的简 便方法，并通过有序 且可预测的方式进⾏资源配置和更新。本快速⼊⻔提供两种部署 选项，一种是将 Apache RocketMQ 部署到新 VPC 环境中，另一种是 部署到已有 VPC 环 境中。使用默认参数为在新 VPC 环境中 部署以下资源。如果您选择的是将此方案部署 到已有 VPC 中，将跳过 (不创建) 带有星号（*）的组件，并提⽰ 您目前现有的配置。 按照默认 RocketMQ SSH Tunnel 来访问 Nameserver 的 Web Console。 1. 使用 ssh 命令建立和 Bastion Host 的 ssh 连接，下图中红⾊的部分参数需要换成 用户环境对应的参数 命令：ssh -qTfnN -D PORTNUMBER -i KEYPAIR USERNAME@HOSTNAME 样例：ssh -qTfnN -D 40011 -i "rocketMQ

Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Cloud Native 的定义 • 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战

/root/rocketmq/rocketmq-4.9.2-SNAPSHOT/bin/mqnamesrv >> /root/rocketmq/logs namesrv/namesrv.log & Linux 环境下遇到的问题： ● 启动的时候设置内存太大，只是用来测试的话，我们可以改下启动脚本的内存配置， runserver.sh ● 还有一个就是脚本格式问题，会导致脚本执行不了，解决办法： https://blog

能，每个NameServer存有全量的路由信息，提 对等的读写服务，支持快速扩缩容。 Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多副本容错机制（2副本或3副本）、强大的削峰填谷以及上亿级消息堆积能力，同时可严 保证消息的有序性。除此之外，Broker还提供了同城异地容灾能力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。