链滴 rocketmq 服务部署 作者：gitsilence 原文链接：https://ld246.com/article/1632123166220 来源网站：链滴 许可协议：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) 摘自：https://zhuanlan.zhihu.com/p/226173170 rocketmq源码构建 系统：Mac OS 12.0 │ ├── mqnamesrv │ ├── mqnamesrv.cmd │ ├── mqshutdown │ ├── mqshutdown.cmd 原文链接：rocketmq 服务部署 │ ├── os.sh │ ├── play.cmd │ ├── play.sh │ ├── runbroker.cmd │ ├── runbroker.sh │ ├── -1.6.0.jar ├── javassist-3.20.0-GA.jar ├── javax.annotation-api-1.3.2.jar 原文链接：rocketmq 服务部署 ├── jcommander-1.72.jar ├── jna-4.2.2.jar ├── kotlin-stdlib-1.4.10.jar ├── kotlin-stdlib-common-1

Page 1 of 21 快速部署高可用的 Apache RocketMQ 集群 部署手册 顾明 版本：v1.2.0 最后更新时间: 2023 年 11 月 Copyright (c) 2021 by Amazon.com, Inc. or its affiliates. Page 2 of 21 ............ 3 部署说明 ........................................................................................................................................................ 5 快速部署 ................ ............................................................................................ 7 配置部署参数 ................................................................................................

10 5.2 RocketMQ 物理部署结构 ............................................................................................................................... 11 5.3 RocketMQ 逡辑部署结构 ................... ........................................................................................ 16 7.1 单机支持 1 万以上持丽化队列 ..................................................................................... 顺序消息的一种，无论正常异常情冴都能保证顺序，但是牺牲了分布式 Failover 特性，即 Broker 集群中只 要有一台机器丌可用，则整个集群都丌可用，服务可用性大大降低。 如果服务器部署为同步双写模式，此缺陷可通过备机自劢切换为主避免，丌过仍然会存在几分钟的服务丌 可用。（依赖同步双写，主备自劢切换，自劢切换功能目前迓未实现） 目前已知的应用只有数据库 binlog 同步强依

Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多副本容错机制（2副本或3副本）、强大的削峰填谷以及上亿级消息堆积能力，同时可严 保证消息的有序性。除此之外，Broker还提供了同城异地容灾能力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。 Producer由用户进行分布式部署，消息由Producer通过多种负载均衡模式发送到Broker集群，发送 到Broker集群，发送 延时，支持快速失败。 Consumer也由用户部署，支持PUSH和PULL两种消费模式，支持集群消费和广播消息，提供实时的 息订阅机制，满足大多数消费场景。 特点 ● RocketMQ支持异步实时刷盘，同步刷盘，同步复制，异步复制。具有高可靠性。不会因为操作系 的崩溃而导致数据丢失。 ● RocketMQ经过一系列的实践和优化，处理速度从最初的10,000TPS到目前已经超过50 000TPS。 纯比较TPS的话虽然还不如Kafka的百万级别，但在支持事务的消息中间件来说已经是非常优秀了。 ● RocketMQ采用长轮询，消息投递延迟通常在几个毫秒左右。 ● RocketMQ单机最高支持5万个队列，且负载不会发生明显递增。 ● RocketMQ支持消费失败重试，这个特性非常适合运用在充值方面的应用。 ● RocketMQ支持严格的意义上的消息顺序。即时在一台Broker宕机后，消息发送会失败，但是不会

机器假死 IO Util，Load飙高 磁盘响应慢 消息大量堆积 网卡故障，甚至流量跑满 磁盘损坏 零点之战：发布消息SLA要求100% 慢请求开始大量增加 分布式系统雪崩 容量不足，单机热点 问题的本质： 可用性无限接近100% 可靠性无限接近100% 可用性 > 可靠性 1.4万亿 双十一当天高可用要求 ~~ 100% ???????????? = ???? ??? RocketMQ存储 Java Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 1.4万亿 低延迟分布式存储系统 – 并发锁的开销 lReentrantLock/synchronized ØFair ØUnfair lLockSupport.unpark/park 1 PageCache的毛刺解决方案 Java Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 Direct Memory 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺解决方案 ���������������� ���� ���������� ���������

机器假死 IO Util，Load飙高 磁盘响应慢 消息大量堆积 网卡故障，甚至流量跑满 磁盘损坏 零点之战：发布消息SLA要求100% 慢请求开始大量增加 分布式系统雪崩 容量不足，单机热点 问题的本质： 可用性无限接近100% 可靠性无限接近100% 可用性 > 可靠性 1.4万亿 双十一当天高可用要求 ~~ 100% ???????????? = ???? ??? RocketMQ存储 Java Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 1.4万亿 低延迟分布式存储系统 – 并发锁的开销 lReentrantLock/synchronized ØFair ØUnfair lLockSupport.unpark/park 1 PageCache的毛刺解决方案 Java Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 Direct Memory 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺解决方案 ���������������� ���� ���������� ���������

Page 1 of 18 Apache RocketMQ on Amazon Web Services 部署手册 顾明 版本：v1.0.0 最后更新时间: 2021 年 01 月 Copyright (c) 2021 by Amazon.com, Inc. or its affiliates. Page ............... 3 部署说明................................................................................................................................................... 5 快速部署.................... ............................................................................................ 6 配置部署参数 ................................................................................................

system busy、broker busy 原因分析与解决方案坑 91 1.10 再谈 RocketMQ broker busy 104 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 115 1.13 RocketMQ DLedger 多副本即主从切换实战 121 1.14 RocketMQ msgId RocketMQ 核心概念扫盲篇 在正式进入 RocketMQ 的学习之前，我觉得有必要梳理一下 RocketMQ 核心概念， 为大家学习 RocketMQ 打下牢固的基础。 一、RocketMQ 部署架构 在 RocketMQ 主要的组件如下： 1. Nameserver Nameserver 集群，topic 的路由注册中心，为客户端根据 Topic 提供路由服务，从 而引导客户端向 Broker json。 在 RocketMQ4.5.0 版本后引入了多副本机制，即一个复制组（m-s）可以演变为基 于 raft 协议的复制组，复制组内部使用 raft 协议保证 broker 节点数据的强一致性，该部署 架构在金融行业用的比较多。 二、消息订阅模型 在 RocketMQ 的消息消费模式采用的是发布与订阅模式。 topic：一类消息的集合，消息发送者将一类消息发送到一个主题中，例如订单模块将

2 Producer B Consumer 1 Consumer 2 MessageQueue1 MessageQueue2 MessageQueue1 MessageQueue2 部署模型 组件细节 Broker Netty RemotingServer Netty Remoting Client NameServer All Info In Memory except 的定义 • 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战 • 缺少稳定的多语⾔言类库 • Cloud AI Ops⽅方⾯面 • 容器器化部署，K8S编排 • 诸如IoT/IIoT新场景下的规模化部署能⼒力力不不⾜足 • HTTP/RESTful/JSON 灵活调⽤用，监控及运维能⼒力力不不⾜足 • Cloud云⼚厂商⽅方⾯面 • 不不同云⼚厂商之间消息产品互操作性成本较⾼高，⽤用户跨云⼚厂商迁移难 • 云上与云下产品的⽆无缝衔接能⼒力力差 云原⽣生与业界标准 OpenMessaging AMQP • 简单灵活 • 云原⽣生 • ⼚厂商中⽴立

云盘 SA TA 独占/混部/独立交付…… • 集群节点异常成为常态 • 依赖服务随时可能在进行迁移或重启 • 对弹性的要求开始从物理资源变为逻辑资源 • IaaS 的多样性对应用交付部署提出了更高要求 • 可运维性、可观测性带来了更大挑战 • 多租环境带来了更高的网络及安全隔离要求 • 无限资源 vs 有限成本 • 冗长的请求链路，膨胀的技术栈 ……. 面向失败 松散耦合 • Broker 升级为真正的无状态服务节点，无 binding • Broker和Store节点分离部署、独立扩缩 • 可分可合，适应多种业务场景，降低运维负担 云原生基础设施： • 可观测性能力云原生化，OpenTelemetry 标准化 • Kubernetes 一键式部署扩容交付 W r i t e h e r e S o m e t h i n g Ab o u t