中关于默认主题的路由信息中，会包含两个 Broker 分别各 8 个队列信息。 Step2：生产者寻找路由信息 生产者首先向 NameServer 查询路由信息，由于是一个不存在的主题，故此时返回的 路由信息为空，RocketMQ 会使用默认的主题再次寻找，由于开启了自动创建路由信息， NameServer 会向生产者返回默认主题的路由信息。然后从返回的路由信息中选择一个队 列（默认轮询）。消息发送者从 Nameserver Broker 服务器。 温馨提示：如果上面在安装过程中发生了错误，大家可以查看{user_home}为用户主 目录。 该目录下会有众多的日志文件，如果一开始对这些文件的含义不了解也没关系，大家可 以通过 ls -l 命令，逐一查看文件大小不为０的文件，从而寻找错误日志，便于快速解决 问题。 RocketMQ 提供了众多的运维命令来查看 RocketMQ 集群的运行状态，在这里我先 简单使用 rocketmq 监控指标的存储数据结构，如下图 所示： 正如上图所示：RocketMQ 使用 HashMap 来存储监 控收集的数据，其中 Key 为监控指标的类型，例如 topic 发送消息数量、topic 发送消息 大小、消费组获取消息个数等信息，每一项使用 StatsItemSet 存储，该存储结构内部又 维护一个 HashMap：ConcurrentMap，key

messageQueueList.size 为队列集合的下标 每次获取 queue 都会通过 sendWhichQueue 加一来实现对所有 queue 的轮询 如果入参 lastBrokerName 不为空，代表上次选择的 queue 发送失败，这次选 择应该避开同一个 queue 3） Producer 发消息系统重试: 发送失败后，重试几次 retryTimesWhenSendFailed = 随机选择一台 producer 查询消息，根据 commitLogOffset 和 msgSize 到 commitlog 查找消息 向 Producder 发起请求,请求 code 类型为 CHECK_TRANSACTION_STATE，producer 的 DefaultMQProducerImpl. checkTransactionState()方法来处理 broker 定时回调的请求， 30W 条 = 300000 * CQStoreUnitSize(每条大小) filename: filename 文件名称但不仅仅是名称还表示文件记录的初始偏移量， 文件名其 实是个 long 类型的值 4） MapedFileQueue 存储队列，数据定时删除，无限增长。 队列有多个文件（MapedFile）组成，由集合对象 List 表示升序排列，前面讲到文件名即 是消息在此文

EC2 的高可用的 RocketMQ 集群。 架构 Amazon CloudFormation 提供了⼀种创建和管理相关 AMAZON WEB SERVICES 资源的简便⽅法，并通过有序 且可预测的⽅式进⾏资源配置和更新。本快速⼊⻔提供 两种部署选项，⼀种是将 Apache RocketMQ 部署到新 VPC 环境中，另⼀种是 部署 到已有 VPC 环境中。使⽤默认参数为在新 VPC 环境中 Instance 中选择一个作为 Master 继续提供服务从而达到高可用的效果，下图是部署完的一个架构实例图 Page 4 of 21 • (*) 跨越多个可⽤区的公有⼦⽹和私有⼦⽹的 VPC（由西云数据运营的 亚 马逊云科技（宁 夏）区域为 3 个，由光环新⽹运营的 亚马逊云科技（北 京）区域为 2 个）。 • (*) 在公有⼦⽹中，允许私有⼦⽹中的资源（RocketMQ • 在私有⼦⽹中，⼀个可⾃定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ 群集，还 可以⾃定义 Amazon EBS 存储的⼤⼩。快速⼊⻔将 把副本集启动在在不同的可⽤ 区中。如果您选择的 AMAZON WEB SERVICES 区域为由光环新⽹运营的 亚马逊云科技（北京）区域，因其对 外 提供 2 个可⽤区，本解决方案将重复使⽤其中⼀个可⽤区来创建第三个 ⼦⽹。

RocketMQ 中，所有消息队列都是持丽化，长度无限的数据结构，所谓长度无限是挃队列中的每个存储 单元都是定长，访问其中的存储单元使用 Offset 来访问，offset 为 java long 类型，64 位，理论上在 100 年内丌会溢出，所以讣为是长度无限，另外队列中只保存最近几天的数据，乀前的数据会挄照过期时间来 删除。 也可以讣为 Message Queue 是一个长度无限的数组，offset Consumer 的要求做过滤，优点是减少了对亍 Consumer 无用消息的网络传输。 缺点是增加了 Broker 的负担，实现相对复杂。 (1). 淘宝 Notify 支持多种过滤方式，包含直接挄照消息类型过滤，灵活的诧法表达式过滤，几乎可以满足 最苛刻的过滤需求。 (2). 淘宝 RocketMQ 支持挄照简单的 Message Tag 过滤，也支持挄照 Message Header、body 磁盘设备损坏。 (1)、(2)、(3)、(4)四种情冴都属亍硬件资源可立即恢复情冴，RocketMQ 在返四种情冴下能保证消息丌丢，戒 者丢失少量数据（依赖刷盘方式是同步迓是异步）。 (5)、(6)属亍单点故障，丏无法恢复，一旦収生，在此单点上的消息全部丢失。RocketMQ 在返两种情冴下，通 过异步复制，可保证 99%的消息丌丢，但是仍然会有极少量的消息可能丢失。通过同步双写技术可以完全避免单点，

EC2 的高可用的 RocketMQ 集群。 架构 AMAZON CloudFormation 提供了一种创建和管理相关 AMAZON WEB SERVICES 资源的简 便方法，并通过有序 且可预测的方式进⾏资源配置和更新。本快速⼊⻔提供两种部署 选项，一种是将 Apache RocketMQ 部署到新 VPC 环境中，另一种是 部署到已有 VPC 环 境中。使用默认参数为在新 VPC 环境中 (*) 安全组，用于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝（如 果您选 择的是启动在已有 VPC 中，您需要提前创建此安全组或者使用已有 的安全组）。 • 在私有⼦网中，一个可自定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ 群集，还 可以自定义 Amazon EBS 存储的⼤⼩。快速⼊⻔将把副 本集启动在在不同的可用 区中。如果您选择的 AMAZON 中的 CentOS AMI。 13 Bastion Instance Type BastionInstanceType t2.micro 堡垒机实例的 EC2 实 例类型。 14 Number of Bastion Hosts NumBastionHosts 1 堡垒机数量。Auto Scaling 确保 您始终保持此数量的运⾏堡垒机 数量。

运维及流量调拨要求高 极简架构 高性能 金融级高可靠 打造业务消息领域首选 零依赖 可扩展 低延迟 高吞吐 强同步刷盘 ACK 机制 普通消息 顺序消息 延迟消息 事务消息 重试消息 死信消息 设计思想： 1.消息不丢、高可靠是架构的基础 2.时延优先，兼顾吞吐 3.收敛业务共性问题，提供丰富的业务消息类型 4.注重可运维性、弹性扩缩、流量调拨能力建设 RocketMQ 简介 2022 Pop 消费模式，多语言友好，易集成 从业务走向数据： • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离： • Broker 升级为真正的无状态服务节点，无 binding • Broker和Store节点分离部署、独立扩缩 • 可分可合，适应多种业务场景，降低运维负担 云原生基础设施： • 可观测性能力云原生化，OpenTelemetry 标准化 • 分区迁移时，会导致网络风暴，耗时极长 问题重点 • 在主节点宕机时，备节点要有自动切换为主的能力 • 容量调整时，不能产生数据迁移，且要在秒级完成 固定分区使用场景 • 任务计算过程中，会将同一个业务类型的数据发到同一个队列 • Binlog 等数据同步过程中，需要保证严格顺序 RAFT 存储支持：自动主从切换，强一致性保证 逻辑队列：秒级无损弹性扩缩，无数据复制，流量精准调度 消息与流融合索引支持

BY-SA 4.0) Apache RocketMQ 介绍 概要 Apache RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容 和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送，非常适合运用在金融和电 商务领域。目前他是Apache社区的顶级项目，在全球有超过100家公司在其业务中使用RocketMQ 开源版本。 诞生 RocketMQ 对等的读写服务，支持快速扩缩容。 Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多副本容错机制（2副本或3副本）、强大的削峰填谷以及上亿级消息堆积能力，同时可严 保证消息的有序性。除此之外，Broker还提供了同城异地容灾能力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。 Producer由用户进行分布式部署，消息由Produc 于Scala号称下一代AMQ的Apollo等。 而Kafka最初被设计用来做日志处理，是一个不折不扣的大数据通道，追求高吞吐，存在丢消息的可 。其背后的研发团队也围绕着Kafka进行了商业包装，目前在一些中小型公司被广泛使用。 下表是一目了然的快速参考，可快速发现RocketMQ及其最受欢迎的替代产品之间的差异。 Messaging Product Client SDK Protocol and

RocketMQ 存储设计 Cloud Native 的定义 • 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战 • 缺少稳定的多语⾔言类库 • Cloud AI Ops⽅方⾯面