进程自动退出排查经验分享 78 1.8 RocketMQ 主题扩分片后遇到的坑 82 1.9 RocketMQ 消息发送 system busy、broker busy 原因分析与解决方案坑 91 1.10 再谈 RocketMQ broker busy 104 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 Nameserver Nameserver 集群，topic 的路由注册中心，为客户端根据 Topic 提供路由服务，从 而引导客户端向 Broker 发送消息。Nameserver 之间的节点不通信。路由信息在 Nameserver 集群中数据一致性采取的最终一致性。 2. Broker 消息存储服务器，分为两种角色：Master 与 Slave，上图中呈现的就是 2 主 2 从的部 署架构，在 RocketMQ RocketMQ 中，主服务承担读写操作，从服务器作为一个备份，当主服务器存 在压力时，从服务器可以承担读服务（消息消费）。所有 Broker，包含 Slave 服务器每隔 30s 会向 Nameserver 发送心跳包，心跳包中会包含存在在 Broker 上所有的 topic 的路 由信息。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 11 > 1.1 RocketMQ

.......................................................................................... 9 三：Broker 落地消息 ........................................................................................... ...................................................................................... 28 第三章： broker ................................................................................................ .............................................. 43 6.4：Broker 与 client（comsumer ，producer）之间的心跳， ................................ 44 6.5：Broker 与 namesrv 之间的心跳 .......................................

├── broker-a-s.properties │ │ ├── broker-a.properties │ │ ├── broker-b-s.properties │ │ └── broker-b.properties │ ├── 2m-2s-sync │ │ ├── broker-a-s.properties │ │ ├── broker-a.properties ├── broker-b-s.properties │ │ └── broker-b.properties │ ├── 2m-noslave │ │ ├── broker-a.properties │ │ ├── broker-b.properties │ │ └── broker-trace.properties │ ├── broker.conf │ │ ├── dledger │ │ ├── broker-n0.conf │ │ ├── broker-n1.conf │ │ └── broker-n2.conf │ ├── logback_broker.xml │ ├── logback_namesrv.xml │ ├── logback_tools.xml │ ├── plain_acl.yml │

...................................................................................... 7 4.10 Broker 的 Buffer 满了怎举办？ ................................................................................ . 35 12 Broker 使用挃南 ................................................................................................................................................... 35 12.1 Broker 配置参数 ...... .. 35 12.2 Broker 集群搭建 ............................................................................................................................................. 37 12.3 Broker 重启对客户端的影响 ....

• the destination.name is the name of the queue or topic where to consume messages from the JMS broker • the destination.type is the type of the destination (queue or topic) • the username and password connection factory 1.2.13. MQTT The Decanter MQTT collector receives collected messages from a MQTT broker. It’s a way to aggregate collected data coming from remote and several machines. karaf@root()> collector.mqtt.cfg configuration file containing: • the server.uri is the location of the MQTT broker • the client.id is the Decanter MQTT client ID • the topic is the MQTT topic pattern where to receive

• the destination.name is the name of the queue or topic where to consume messages from the JMS broker • the destination.type is the type of the destination (queue or topic) • the username and password connection factory 1.2.14. MQTT The Decanter MQTT collector receives collected messages from a MQTT broker. It’s a way to aggregate collected data coming from (several) remote machines. The decanter-collector-mqtt # URI of the MQTT broker server.uri=tcp://localhost:61616 # MQTT Client ID client.id=decanter # MQTT topic name topic=decanter • the server.uri is the location of the MQTT broker • the client.id is

........................................................................................... 13 Broker: ............................................................................................... ....................................................... 14 如何登录 APACHE ROCKETMQ 的 NAMESERVER 和 BROKER NODE？ ........................................................ 17 Page 3 of 18 下部署如下的一个架构，包含两个 Nameserver 互为备份，三个 Broker Instance 每个 Broker Instance 上面启动三个 Broker 实例，每个 Broker 实例会在 三个 Broker Instance 之间形成一个基于 Raft 的高可用 dledger 集群，如果其中一个 Broker 实例因故障无法提供服务，Raft 协议会自动在另外两个 Instance

........................................................................................... 15 Broker ................................................................................................ ....................................................... 16 如何登录 APACHE ROCKETMQ 的 NAMESERVER 和 BROKER NODE？ ........................................... 20 Page 3 of 21 背景介绍 Apache 部署如下的一个架构，包含两个 Nameserver 互为备份，三个 Broker Instance 每个 Broker Instance 上面启动三个 Broker 实例，每个 Broker 实例会在三个 Broker Instance 之间形成一个基于 Raft 的高可用 dledger 集群，如果其中一个 Broker 实例 因故障无法提供服务，Raft 协议会自动在另外两个 Instance

ints 服务 CA bundle 的变化 OpenShift Service Broker 和 service Catalog 已过时 Service Catalog 不再被默认安装 Template Service Broker 不会被默认安装 OpenShift Ansible Service Broker 不再会被默认安装 多个 oc adm 命令现已过时 imagepolicyadmission OpenShift Container Platform 4.1. OpenShift Container Platform 4.1 发 发行注 行注记 记 4 OpenShift Service Broker 和 Service Catalog Service Catalog 和 OpenShift service brokers 将会在 以后发行的几个 OpenShift 4 版本中被逐渐替代。使 带有一个重新设计的开发者目录（Developer Catalog），它把所有新 的 Operators 和已存在的代理服务（broker services）集成在一起， 使用新的方法来发现、排序并理解如 何使用这些服务。开放者目录是开发人员访问所有可用服务的一个起点。它把 Operators、Service Catalog、broker 和 Source-to-Image (S2I) 的功能集成在一起。 1.2.9.2. 新的管理界面

为什什么做基于 Kubernetes 的 Kafka 平台 基于 Kubernetes 的 Kafka 平台实践 Apache Kafka 分布式的流式数据平台 ⾼高吞吐 容错性 Broker Broker Broker Producer Consumer Topic Topic Topic Producer Consumer 平台承载知乎业务⽇日志、数据传输和消息队列列服务 平台线上稳定运⾏行行 的集群细分 • Topic 服务等级、容量量和规模划分 资源规划 多变需求引发集群规模增⻓长 • Broker, Topic 规模 服务器器资源利利⽤用率 • 单机运⾏行行多 Broker ⽅方式 多集群问题 磁盘是不不得不不考虑的问题 • ⽇日志落盘，⽇日志失效 ⽅方案 • Broker 之间物理理磁盘隔离 磁盘是个⼤大问题 服务器器选型 ⾼高密度存储服务器器 • 多磁盘, 单盘 单盘 RAID • 服务器器使⽤用率⾼高 如何管理理集群 集群数增加，导致 Broker 扩张 • 如何调度它们 • 如何管理理它们 服务器器如何管理理 Kubernetes 集群资源管理理和调度 容器器技术提供资源隔离 应⽤用程序管理理 Kafka on Kubernetes 设计 Kafka 容器器 • 内存、CPU、⽹网络和存储 调度 Kafka 容器器 内存