技术内幕》作者，RocketMQ 官方社区优秀布道师，荣获 CSDN2020 博客之星亚军；担任中通快递研发中心资深架构师，维护『中间件兴趣圈』公 众号，主打成体系剖析 Java 主流中间件，尝试从源码分析、架构设计、实战、故障分析等 维度深刻揭晓中间件技术，已覆盖 RocketMQ、Dubbo、Sentienl、Kafka、Canal、 MyCat、ElasticJob、ElasticSearch 等。 推荐人及推荐序 RocketMQ 集群。本书不仅由浅入深的介绍了 RocketMQ 的架 构与实现，而且包含了多年线上超大规模集群开发运维经验的总结，通过本书不仅能够掌握 分布式消息平台的设计原理，对线上疑难问题排查分析、性能调优与架构设计也大有帮助。 目录 开篇：我的另一种参与 RocketMQ 开源社区的方式 6 1.1 RocketMQ 核心概念扫盲篇 10 1.2 生产环境中，autoCreateTopicEnable 一次 RocketMQ 进程自动退出排查经验分享 78 1.8 RocketMQ 主题扩分片后遇到的坑 82 1.9 RocketMQ 消息发送 system busy、broker busy 原因分析与解决方案坑 91 1.10 再谈 RocketMQ broker busy 104 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失

............................................................................... 43 14.3.1 提高消费幵行度 ................................................................................................... 投递成功消息后，消息仍然需要保留。幵丏重新消费一般是挄照时间维度，例如由亍 Consumer 系统故障， 恢复后需要重新消费 1 小时前的数据，那举 Broker 要提供一种机制，可以挄照时间维度来回退消费迕度。 RocketMQ 支持挄照时间回溯消费，时间维度精确到毫秒，可以吐前回溯，也可以吐后回溯。 4.12 消息堆积 消息中间件的主要功能是异步解耦，迓有个重要功能是挡住前端的数据洪峰，保证后端系统的稳定性，返就要 (2). 读一条消息，会兇读 Consume Queue，再读 Commit Log，增加了开销。 (3). 要保证 Commit Log 不 Consume Queue 完全的一致，增加了编程的复杂度。 以上缺点如何克服： (1). 随机读，尽可能让读命中 PAGECACHE，减少 IO 读操作，所以内存越大越好。如果系统中堆积的消息过多， 读数据要访问磁盘会丌会由亍随机读导致系统性能急剧下降，答案是否定的。

unpark/park 1.4万亿 低延迟分布式存储系统 – PageCache真的那么快吗？ 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 lMemory access latency issues: ØDirect reclaim • Background reclaim (kswapd) watermark low reclaim kswapd wakeup allocate extra free_kbytes 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 Entity Inode i_mapping i_data address_space radix_tree_root nrpages writeback_index inode(host) remove_from_page_cache add_to_page_cache_locked 自旋锁- treelock 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 lMemory access latency issues: ØMemory lock ØWake_up_page ØWait_on_page_locked() ØWait_on_page_writebacfk()

unpark/park 1.4万亿 低延迟分布式存储系统 – PageCache真的那么快吗？ 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺现象分析 lMemory access latency issues: ØDirect reclaim • Background reclaim (kswapd) watermark low reclaim kswapd wakeup allocate extra free_kbytes 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 Entity Inode i_mapping i_data address_space radix_tree_root nrpages writeback_index inode(host) remove_from_page_cache add_to_page_cache_locked 自旋锁- treelock 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 lMemory access latency issues: ØMemory lock ØWake_up_page ØWait_on_page_locked() ØWait_on_page_writebacfk()

调底层通信层向 broker 发送拉消息请求 如果 master 压力过大，会建议去 slave 拉取消息 如果是到 broker 拉取消息清楚实时提交标记位，因为 slave 不允许实时提交消费进 度，可以定时提交 //TODO 关于 master 拉消息实时提交指的是什么？ 10. 拉到消息后回调 PullCallback 处理 broker 返回结果 pullResult 更新从哪个 broker（master 还是 slave）拉取消息 反序列化消息 消息过滤 消息中放入队列最大最小 offset, 方便应用来感知消息堆积度 将消息加入正在处理队列 ProcessQueue 将消息提交到消费消息服务 ConsumeMessageService 流控处理， 如果 pullInterval 参数大于 0 （拉消息间隔，如果为了降低拉取速度， keyset 的 messagequeue 去获取 RemoteBrokerOffsetStore.offsetTableMap 中的消费进 度， offsetTable 中 的 messagequeue 的 值 ， 在 update 的 时 候 如 果 没 有 对 应 的 Messagequeue 会构建， 但是也会 rebalance 的时候将没有分配到的

computing storage separating architecture� 典型应⽤用场景 ⾦金金融交易易 电⼦子商务 智能制造 分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker B Topic B ConsumerGroupA ConsumerGroupB Consumer

ActiveMQ等。但在需求不断膨胀的情况下，ActiveMQ IO模块遇到了瓶颈，几经努力但改善成果不 。这时正值Kafka流行，于是引起了阿里巴巴开发团队的注意，对kafka的无限消息堆积，高效持久化 度等特性非常赞赏。但不幸的是，Kafka不能满足他们的要求，特别是在低延迟和高可靠性方面。在 种情况下，阿里巴巴决定发明一个新的消息传递引擎来处理更广泛的用例集，从传统的发布/订阅方 到大批量实时零损失容忍交易系统。