Broker 服务器。 温馨提示：如果上面在安装过程中发生了错误，大家可以查看{user_home}为用户主 目录。 该目录下会有众多的日志文件，如果一开始对这些文件的含义不了解也没关系，大家可 以通过 ls -l 命令，逐一查看文件大小不为０的文件，从而寻找错误日志，便于快速解决 问题。 RocketMQ 提供了众多的运维命令来查看 RocketMQ 集群的运行状态，在这里我先 简单使用 消息追加是否会超过 500 ms。 在这个图中我们看到在设置了 transientStorePoolEnable 为 true 的情况下，虽然 一天只有一条超过 500ms 的消息，但也值得警惕了，由于对系统内核参数掌握程度不够， 这种情况，估计只能走集群扩容的路子了。但如果一天消息量巨大而且出现频率不高的情况， 由于有重试机制，倒不会带来太大的问题。如果出现太多的错误，建议集群扩容。 本文接下来想重点探讨一下 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 < 114 这样的部署架构如果面对上面的故障，Broker 假死的情况，能有效避免吗？答案是可 以的。 如果 192.168.3.100 的 broker 假死，那么 3.110,3.111 的 nameserver 都能在 2 分 钟内感知 broker-a 宕机，然后客户端能成功从 nameserver

Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v1.0 顺序消息 海量堆积能力 Aliware MQ v1.0 Notify v3.0 MetaQ v3.0 RocketMQ开源 Apache RocketMQ watermark low reclaim kswapd wakeup allocate extra free_kbytes 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 Entity Inode i_mapping i_data address_space radix_tree_root nrpages writeback_index inode(host) try_to_unmap_one remove_from_page_cache add_to_page_cache_locked 自旋锁- treelock 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 lMemory access latency issues: ØMemory lock ØWake_up_page ØWait_on_page_locked() ØWait_on_page_writebacfk()

Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v1.0 顺序消息 海量堆积能力 Aliware MQ v1.0 Notify v3.0 MetaQ v3.0 RocketMQ开源 Apache RocketMQ watermark low reclaim kswapd wakeup allocate extra free_kbytes 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 Entity Inode i_mapping i_data address_space radix_tree_root nrpages writeback_index inode(host) try_to_unmap_one remove_from_page_cache add_to_page_cache_locked 自旋锁- treelock 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 lMemory access latency issues: ØMemory lock ØWake_up_page ØWait_on_page_locked() ØWait_on_page_writebacfk()

EC2 的高可用的 RocketMQ 集群。 架构 Amazon CloudFormation 提供了⼀种创建和管理相关 AMAZON WEB SERVICES 资源的简便⽅法，并通过有序 且可预测的⽅式进⾏资源配置和更新。本快速⼊⻔提供 两种部署选项，⼀种是将 Apache RocketMQ 部署到新 VPC 环境中，另⼀种是 部署 到已有 VPC 环境中。使⽤默认参数为在新 VPC 环境中 Instance 中选择一个作为 Master 继续提供服务从而达到高可用的效果，下图是部署完的一个架构实例图 Page 4 of 21 • (*) 跨越多个可⽤区的公有⼦⽹和私有⼦⽹的 VPC（由西云数据运营的 亚 马逊云科技（宁 夏）区域为 3 个，由光环新⽹运营的 亚马逊云科技（北 京）区域为 2 个）。 • (*) 在公有⼦⽹中，允许私有⼦⽹中的资源（RocketMQ • 在私有⼦⽹中，⼀个可⾃定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ 群集，还 可以⾃定义 Amazon EBS 存储的⼤⼩。快速⼊⻔将 把副本集启动在在不同的可⽤ 区中。如果您选择的 AMAZON WEB SERVICES 区域为由光环新⽹运营的 亚马逊云科技（北京）区域，因其对 外 提供 2 个可⽤区，本解决方案将重复使⽤其中⼀个可⽤区来创建第三个 ⼦⽹。

磁盘设备损坏。 (1)、(2)、(3)、(4)四种情冴都属亍硬件资源可立即恢复情冴，RocketMQ 在返四种情冴下能保证消息丌丢，戒 者丢失少量数据（依赖刷盘方式是同步迓是异步）。 (5)、(6)属亍单点故障，丏无法恢复，一旦収生，在此单点上的消息全部丢失。RocketMQ 在返两种情冴下，通 过异步复制，可保证 99%的消息丌丢，但是仍然会有极少量的消息可能丢失。通过同步双写技术可以完全避免单点， 版本开始支持同步双写。 4.7 Low Latency Messaging 在消息丌堆积情冴下，消息到达 Broker 后，能立刻到达 Consumer。 RocketMQ 使用长轮询 Pull 方式，可保证消息非常实时，消息实时性丌低亍 Push。 项目开源主页：https://github.com/alibaba/RocketMQ 7 4.8 At least Once 是挃每个消息必须投递一次 収送消息阶段，丌允许収送重复的消息。 (2). 消费消息阶段，丌允许消费重复的消息。 只有以上两个条件都满足情冴下，才能讣为消息是“Exactly Only Once”，而要实现以上两点，在分布式系统环 境下，丌可避免要产生巨大的开销。所以 RocketMQ 为了追求高性能，幵丌保证此特性，要求在业务上迕行去重， 也就是说消费消息要做到幂等性。RocketMQ 虽然丌能严格保证丌重复，但是正常情冴下很少会出现重复収送、消

0 国际 (CC BY-SA 4.0) Apache RocketMQ 介绍 概要 Apache RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容 和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送，非常适合运用在金融和电 商务领域。目前他是Apache社区的顶级项目，在全球有超过100家公司在其业务中使用RocketMQ 开源版本。 诞生 对等的读写服务，支持快速扩缩容。 Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多副本容错机制（2副本或3副本）、强大的削峰填谷以及上亿级消息堆积能力，同时可严 保证消息的有序性。除此之外，Broker还提供了同城异地容灾能力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。 Producer由用户进行分布式部署，消息由Produc 于Scala号称下一代AMQ的Apollo等。 而Kafka最初被设计用来做日志处理，是一个不折不扣的大数据通道，追求高吞吐，存在丢消息的可 。其背后的研发团队也围绕着Kafka进行了商业包装，目前在一些中小型公司被广泛使用。 下表是一目了然的快速参考，可快速发现RocketMQ及其最受欢迎的替代产品之间的差异。 Messaging Product Client SDK Protocol and

核心链路，稳定性要求高、时延敏感 • 容量峰值具有随机性，弹性要求高 • 业务场景复杂、集成要求尽可能简单 • 运维及流量调拨要求高 极简架构 高性能 金融级高可靠 打造业务消息领域首选 零依赖 可扩展 低延迟 高吞吐 强同步刷盘 ACK 机制 普通消息 顺序消息 延迟消息 事务消息 重试消息 死信消息 设计思想： 1.消息不丢、高可靠是架构的基础 2.时延优先，兼顾吞吐 3 Pop 消费模式，多语言友好，易集成 从业务走向数据： • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离： • Broker 升级为真正的无状态服务节点，无 binding • Broker和Store节点分离部署、独立扩缩 • 可分可合，适应多种业务场景，降低运维负担 云原生基础设施： • 可观测性能力云原生化，OpenTelemetry 标准化 •

EC2 的高可用的 RocketMQ 集群。 架构 AMAZON CloudFormation 提供了一种创建和管理相关 AMAZON WEB SERVICES 资源的简 便方法，并通过有序 且可预测的方式进⾏资源配置和更新。本快速⼊⻔提供两种部署 选项，一种是将 Apache RocketMQ 部署到新 VPC 环境中，另一种是 部署到已有 VPC 环 境中。使用默认参数为在新 VPC 环境中 (*) 安全组，用于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝（如 果您选 择的是启动在已有 VPC 中，您需要提前创建此安全组或者使用已有 的安全组）。 • 在私有⼦网中，一个可自定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ 群集，还 可以自定义 Amazon EBS 存储的⼤⼩。快速⼊⻔将把副 本集启动在在不同的可用 区中。如果您选择的 AMAZON

RocketMQ 存储设计 Cloud Native 的定义 • 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战 • 缺少稳定的多语⾔言类库 • Cloud AI Ops⽅方⾯面

第四章： NameServer Namesrv 名称服务，是没有状态可集群横向扩展。 1. 每个 broker 启动的时候会向 namesrv 注册 2. Producer 发送消息的时候根据 topic 获取路由到 broker 的信息 3. Consumer 根据