RocketMQ 的消息消费模式采用的是发布与订阅模式。 topic：一类消息的集合，消息发送者将一类消息发送到一个主题中，例如订单模块将 订单发送到 order_topic 中，而用户登录时，将登录事件发送到 user_login_topic 中。 consumegroup：消息消费组，一个消费单位的“群体”，消费组首先在启动时需要 订阅需要消费的 topic。一个 topic 可以被多个消费组订阅，同样一个消费组也可以订阅多 服务器，autoCreateTopicEnable 设置为 true，表示开启 Topic 自动创建，但新创建的 Topic 的路由信息只包含在其中一台 Broker 服务器上，这是为什么呢？ 期望值：为了消息发送的高可用，希望新创建的 Topic 在集群中的每台 Broker 上创 建对应的队列，避免 Broker 的单节点故障。 现象截图如下： Broker 集群信息 自动创建的 topicTest5 温馨提示：消息发送者在到默认路由信息时，其队列数量，会选择 DefaultMQProdu cer#defaultTopicQueueNums 与 Nameserver 返回的的队列数取最小值，DefaultMQ Producer#defaultTopicQueueNums 默认值为 4，故自动创建的主题，其队列数量默认 为 4。 Step3：发送消息 DefaultMQProducerImpl#sendKernelImpl

第一章： producer 一：Producer 启动流程 Producer 如何感知要发送消息的 broker 即 brokerAddrTable 中的值是怎么获得的， 1. 发送消息的时候指定会指定 topic，如果 producer 集合中没有会根据指定 topic 到 namesrv 获取 topic 发布信息 TopicPublishInfo，并放入本地集合 MapedFileQueue 将多个文件组成一个连续的队列，它的存储单元是定 长为 24 个字节的数据， tranStateTableOffset 可以认为是事物状态消息的个数，索引偏移量， 它的值是 tranStateTable.getMaxOffset() / TSStoreUnitSize 2.2.4 事物回查 定时回查线程会定时扫描（默认每分钟）每个存储事务状态的表格文件， rollback: 将消费在 msgTreeMapTemp 中的消息，放回 msgTreeMap 重新消费 commit: 将临时表 msgTreeMapTemp 数据清空，代表消费完成，放回最大偏移 值 (3) 这里是个 TreeMap，对 key 即消息的 offset 进行排序，这个样可以使得消息进 行顺序消费 三： 长轮询

hashcode%slotNum 得到具体的槽的位置（slotNum 是一个索引文件里面包含的最大槽的数目， 例如图中所示 slotNum=5000000）。 2. 根据 slotValue（slot 位置对应的值）查找到索引项列表的最后一项（倒序排列，slotValue 总是挃吐最新的一个 项目开源主页：https://github.com/alibaba/RocketMQ 21 索引项）。 3 hash，一次 key 的 hash 值叏模， 因此返里存在两次冲突的情冴；第一种，key 的 hash 值丌同但模数相同，此时查询的时候会在比较一次 key 的 hash 值（每个索引项保存了 key 的 hash 值），过滤掉 hash 值丌相等的项。第二种，hash 值相等但 key 丌等， 出亍性能的考虑冲突的检测放到客户端处理（key 的原始值是存储在消息文件中的，避免对数据文件的解析）， 9.3 连接复用 同一个网络连接，客户端多个线程可以同时収送请求，应答响应通过 header 中的 opaque 字段来标识。 9.4 超时连接 如果某个连接超过特定时间没有活劢（无读写事件），则自劢关闭此连接，幵通知上局业务，清除连接对应的 注册信息。 10 RocketMQ 服务发现（Name Server） Name Server 是与为 RocketMQ 设计的轻量级名称服务，代码小亍

进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 轻量级队列 rocketm q-strea m s 轻量级实时计算 引擎发布 5.0 消息事件流融合处理平台 Sta r: 1 .7w C on tributor: 50 0 + RocketMQ 发展历程 W r i t e h e r e S o m e t h i n g a 网络 Kubernetes Name Server Name Server Name Server 计算集群 可观测 remoting gRPC MQTT AMQP AC L 消息 事件 Subscription 多租户 Store Store Store Store Store Store 存储集群 高可用架构升级： • 秒级故障转移，多场景容灾支持 • 无外部依赖，节点间松散耦合 • 自建及云上异构 IaaS 基础设施支持，降低成本 轻量级SDK： • 全面支持云原生通信标准 gRPC 协议 • 无状态 Pop 消费模式，多语言友好，易集成 从业务走向数据： • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离： • Broker 升级为真正的无状态服务节点，无 binding • Broker和Store节点分离部署、独立扩缩

海外区域部署，请使用这个链接： 配置部署参数 自定义堆栈名称后，配置必填参数选项，并且根据需求调整已有默认值的选项。以下 为详细的参数解释。两个选项除了网络配置不同以外，其他配置都是相同的。 选项 1：⽤于将 Apache RocketMQ 部署到新 VPC 的参数 参数标签 参数名称 默认值 说明 Network Configuration 网络配置 1 Availability External Access CIDR RemoteAccessCIDR 必填项 允许对堡垒主机进⾏外部 SSH 访 问的 CIDR IP 范围。我们建议您 将此值设置为受信任的 IP 范 围。例如，您可能希望仅对公司 网 络 IP 段授予访问权限。如果 允许所有的外部主机访问，可以 设置为 0.0.0.0/0 Security Configuration 前缀。请不要更改此选项， 除⾮您对此启动脚本做了自定义 化并且存放到了不同的前缀目录 下。 选项 2：用于将 RocketMQ 部署到现有 VPC 的参数 参数标签 参数名称 默认值 说明 Network Configuration 网络配置 1 VPC VPC 必填项 您希望部署到的已有 VPC ID（例 如, vpc0343606e）。

配置部署参数 ⾃定义堆栈名称后，配置必填参数选项，并且根据需求调整已有默认值的选项。以下 为详细的参数解释。两个选项除了⽹络配置不同以外，其他配置都是相同的。 选项 1：⽤于将 Apache RocketMQ 部署到新 VPC 的参数 参数标签 参数名称 默认值 说明 Network Configuration 网络配置 1 Availability External Access CIDR RemoteAccessCIDR 必填项 允许对堡垒主机进⾏外部 SSH 访问的 CIDR IP 范围。我们建 议您 将此值设置为受信任的 IP 范围。例如，您可能希望仅对公 司⽹ 络 IP 段授予访问权限。如 果允许所有的外部主机访问，可 以设置为 0.0.0.0/0 Security Configuration Page 12 of 21 化并且存放到了不同的前缀⽬录 下。 选项 2：⽤于将 RocketMQ 部署到现有 VPC 的参数 参数标签 参数名称 默认值 说明 Network Configuration 网络配置 1 VPC VPC 必填项 您希望部署到的已有 VPC ID （例如, vpc0343606e）。

server是多台集群的话，就用分号分隔 namesrvAddr=192.168.166.20:9876;192.168.166.206:9876 # 每个topic对应队列的数量，默认为4，实际参考consumer实例的数量，值过小不利于consumer负 均衡 defaultTopicQueueNums=8 # 是否允许broker自动创建Topic，生产建议关闭 autoCreateTopicEnable=true # server是多台集群的话，就用分号分隔 namesrvAddr=192.168.166.20:9876;192.168.166.206:9876 # 每个topic对应队列的数量，默认为4，实际参考consumer实例的数量，值过小不利于consumer负 均衡 defaultTopicQueueNums=8 # 是否允许broker自动创建Topic，生产建议关闭 autoCreateTopicEnable=true # 服务部署 namesrvAddr=192.168.166.20:9876;192.168.166.206:9876 # 每个topic对应队列的数量，默认为4，实际参考consumer实例的数量，值过小不利于consumer负 均衡 defaultTopicQueueNums=8 # 是否允许broker自动创建Topic，生产建议关闭 autoCreateTopicEnable=true #