技术内幕》作者，RocketMQ 官方社区优秀布道师，荣获 CSDN2020 博客之星亚军；担任中通快递研发中心资深架构师，维护『中间件兴趣圈』公 众号，主打成体系剖析 Java 主流中间件，尝试从源码分析、架构设计、实战、故障分析等 维度深刻揭晓中间件技术，已覆盖 RocketMQ、Dubbo、Sentienl、Kafka、Canal、 MyCat、ElasticJob、ElasticSearch 等。 推荐人及推荐序 RocketMQ 集群。本书不仅由浅入深的介绍了 RocketMQ 的架 构与实现，而且包含了多年线上超大规模集群开发运维经验的总结，通过本书不仅能够掌握 分布式消息平台的设计原理，对线上疑难问题排查分析、性能调优与架构设计也大有帮助。 目录 开篇：我的另一种参与 RocketMQ 开源社区的方式 6 1.1 RocketMQ 核心概念扫盲篇 10 1.2 生产环境中，autoCreateTopicEnable 消息发送 system busy、broker busy 原因分析与解决方案坑 91 1.10 再谈 RocketMQ broker busy 104 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 115 1.13 RocketMQ DLedger 多副本即主从切换实战 121 1.14 RocketMQ msgId

oker 在吐 Consumer 投递成功消息后，消息仍然需要保留。幵丏重新消费一般是挄照时间维度，例如由亍 Consumer 系统故障， 恢复后需要重新消费 1 小时前的数据，那举 Broker 要提供一种机制，可以挄照时间维度来回退消费迕度。 RocketMQ 支持挄照时间回溯消费，时间维度精确到毫秒，可以吐前回溯，也可以吐后回溯。 4.12 消息堆积 消息中间件的主要功能是异 消费消息过程，使用了零拷贝，零拷贝包含以下两种方式 1. 使用 mmap + write 方式 优点：即使频繁调用，使用小块文件传输，效率也很高 缺点：丌能很好的利用 DMA 方式，会比 sendfile 多消耗 CPU，内存安全性控制复杂，需要避免 JVM Crash 问题。 2. 使用 sendfile 方式 优点：可以利用 DMA 方式，消耗 CPU 较少，大块文件传输效率高，无内存安全新问题。 基础乀上增加多个字段，Consumer 看到的是 com.alibaba.rocketmq.common.message.MessageExt 返个数据结构，MessageExt 继承亍 Message，MessageExt 多 出来的数据字段如下表所述。 12 Broker 使用挃南 12.1 Broker 配置参数 获取 Broker 的默认配置 sh mqbroker -m 项目开源主页：https://github

- i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 unpark/park 1.4万亿 低延迟分布式存储系统 – PageCache真的那么快吗？ 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 lMemory access latency issues: ØDirect reclaim • Background reclaim (kswapd) watermark low reclaim kswapd wakeup allocate extra free_kbytes 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 Entity Inode i_mapping i_data address_space radix_tree_root nrpages writeback_index inode(host)

- i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 unpark/park 1.4万亿 低延迟分布式存储系统 – PageCache真的那么快吗？ 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 lMemory access latency issues: ØDirect reclaim • Background reclaim (kswapd) watermark low reclaim kswapd wakeup allocate extra free_kbytes 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 Entity Inode i_mapping i_data address_space radix_tree_root nrpages writeback_index inode(host)

gin g 主从复制架构升级，性能提升数倍 RAFT 存储生产可用 rocketm q-con n ect 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 轻量级队列 rocketm q-strea m s 轻量级实时计算 引擎发布 5.0 消息事件流融合处理平台 Sta r: 1 .7w C on tributor: 50 0 IaaS 的多样性对应用交付部署提出了更高要求 • 可运维性、可观测性带来了更大挑战 • 多租环境带来了更高的网络及安全隔离要求 • 无限资源 vs 有限成本 • 冗长的请求链路，膨胀的技术栈 ……. 面向失败 松散耦合 基础设施解耦 极致弹性 多场景适应 低成本 高 SLA X 客户价值： X 多场景 云原生时代的挑战 云原生四要素 云原生时代的 RocketMQ admin Server 计算集群 可观测 remoting gRPC MQTT AMQP AC L 消息 事件 Subscription 多租户 Store Store Store Store Store Store 存储集群 高可用架构升级： • 秒级故障转移，多场景容灾支持 • 无外部依赖，节点间松散耦合 • 自建及云上异构 IaaS 基础设施支持，降低成本 轻量级SDK： • 全面支持云原生通信标准

computing storage separating architecture� 典型应⽤用场景 ⾦金金融交易易 电⼦子商务 智能制造 分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker B Topic B ConsumerGroupA ConsumerGroupB Consumer

能，每个NameServer存有全量的路由信息，提 对等的读写服务，支持快速扩缩容。 Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多副本容错机制（2副本或3副本）、强大的削峰填谷以及上亿级消息堆积能力，同时可严 保证消息的有序性。除此之外，Broker还提供了同城异地容灾能力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。

Path: /tmp/rocketmq/msgbodys/707C8CC435FE3FD00E77180D7FCB0B24 03 Performance Tuning 行路难，行路难，多歧路，今安在。 长风破浪会有时，直挂云帆济沧海。 © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u p © 2 0 1 7 A

通过 AcceptSocketService 监听 slave 的连接，每个 master slave 连接都会构建一个 HAConnection 对象搭建他们之间的桥梁， 对于一个 master 多 slave 部署结构的会有多个 HAConnection 实例， Master 构建 HAConnection 时会构建向 slave 写入数据服务线程对象 WriteSocketService