..................................................................................... 42 14.1 消费过程要做到幂等（即消费端去重） ..................................................................................... ............................................................................. 44 14.3.4 优化每条消息消费过程 .................................................................................................. 以均摊 方式消费消息，如果设置为广播方式，那举返个 Consumer Group 下的每个实例都消费全量数据。 6 RocketMQ 存储特点 6.1 零拷贝原理 Consumer 消费消息过程，使用了零拷贝，零拷贝包含以下两种方式 1. 使用 mmap + write 方式 优点：即使频繁调用，使用小块文件传输，效率也很高 缺点：丌能很好的利用 DMA 方式，会比 sendfile

的队列个数小于消费者的个数，那有些消费者无法分配到消息。 在 RocketMQ 中一个 topic 的队列数直接决定了最大消费者的个数，但 topic 队列个数的 增加对 RocketMQ 的性能不会产生影响。 在实际过程中，对主题进行扩容(增加队列个数)或者对消费者进行扩容、缩容是一件非 常寻常的事情，那如果新增一个消费者，该消费者消费哪些队列呢？这就涉及到消息消费队 列的重新分配，即消费队列重平衡机制。 在 q9 q10 q11 c3: q12 q13 q14 q15 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 15 > 1.1 RocketMQ 核心概念扫盲篇 上述整个过程无需应用程序干预，由 RocketMQ 完成。大概的做法就是将将原先分配 给自己但这次不属于的队列进行丢弃，新分配的队列则创建新的拉取任务。 3. 消费进度 消费者消费一条消息后需要记录消费的 样；而顺序消费，如果一条消息消费失败，则会一直消费，直到消费成功。故在顺序消费的 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 1.1 RocketMQ 核心概念扫盲篇 < 16 使用过程中，应用程序需要区分系统异常、业务异常，如果是不符合业务规则导致的异常， 则重试多少次都无法消费成功，这个时候一定要告警机制，及时进行人为干预，否则消费会 积压。 三、事务消息 事务消息并不

分区迁移时，会导致网络风暴，耗时极长 问题重点 • 在主节点宕机时，备节点要有自动切换为主的能力 • 容量调整时，不能产生数据迁移，且要在秒级完成 固定分区使用场景 • 任务计算过程中，会将同一个业务类型的数据发到同一个队列 • Binlog 等数据同步过程中，需要保证严格顺序 RAFT 存储支持：自动主从切换，强一致性保证 逻辑队列：秒级无损弹性扩缩，无数据复制，流量精准调度 消息与流融合索引支持 核心问题

...... 57 前言 此文档是从学习 rocketmq 源码过程中的笔记中整理出来的，由于时间及能力原因，理 解有误之处还请谅解，希望对大家学习使用 rocketmq 有所帮助。 Rocketmq 是阿里基于开源思想做的一款产品，代码托管于 github 时间点的放弃找前一个文件，小于等于 checkpoint 时间点的 说明 checkpoint 在此 mapedfile 文件中 从 checkpoint 所在 mapedFile 开始恢复数据，它的整体过程跟正常恢复 commitlog 类似，最重要的区别在于 （1）读取消息后派送到分发消息服务 DispatchMessageService 中， 来重 建 ConsumeQueue 以及索引

台。通过堡垒主机访 问私有⼦网 中的 RocketMQ 相关节点。 • AMAZON Identity and Access Management (IAM) 实例⻆⾊，具有细化控制的 权限， 用于访问部署过程所需的 AMAZON WEB SERVICES 服务。 • (*) 安全组，用于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝（如 果您选 择的是启动在已有 VPC 中，您需要提前创建此安全组或者使用已有

机访问私有⼦⽹ 中的 RocketMQ 相关节点。 • AMAZON Identity and Access Management (IAM) 实例⻆⾊，具有细 化控制的权限， ⽤于访问部署过程所需的 AMAZON WEB SERVICES 服 务。 Page 5 of 21 • (*) 安全组，⽤于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝ （如果您选