进程自动退出排查经验分享 78 1.8 RocketMQ 主题扩分片后遇到的坑 82 1.9 RocketMQ 消息发送 system busy、broker busy 原因分析与解决方案坑 91 1.10 再谈 RocketMQ broker busy 104 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 Nameserver Nameserver 集群，topic 的路由注册中心，为客户端根据 Topic 提供路由服务，从 而引导客户端向 Broker 发送消息。Nameserver 之间的节点不通信。路由信息在 Nameserver 集群中数据一致性采取的最终一致性。 2. Broker 消息存储服务器，分为两种角色：Master 与 Slave，上图中呈现的就是 2 主 2 从的部 署架构，在 RocketMQ RocketMQ 中，主服务承担读写操作，从服务器作为一个备份，当主服务器存 在压力时，从服务器可以承担读服务（消息消费）。所有 Broker，包含 Slave 服务器每隔 30s 会向 Nameserver 发送心跳包，心跳包中会包含存在在 Broker 上所有的 topic 的路 由信息。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 11 > 1.1 RocketMQ

├── broker-a-s.properties │ │ ├── broker-a.properties │ │ ├── broker-b-s.properties │ │ └── broker-b.properties │ ├── 2m-2s-sync │ │ ├── broker-a-s.properties │ │ ├── broker-a.properties ├── broker-b-s.properties │ │ └── broker-b.properties │ ├── 2m-noslave │ │ ├── broker-a.properties │ │ ├── broker-b.properties │ │ └── broker-trace.properties │ ├── broker.conf │ │ ├── dledger │ │ ├── broker-n0.conf │ │ ├── broker-n1.conf │ │ └── broker-n2.conf │ ├── logback_broker.xml │ ├── logback_namesrv.xml │ ├── logback_tools.xml │ ├── plain_acl.yml │

数据的根节点。Doris 将通过 json_root 抽取根节点的元素 进行解析。默认为空。 数据源的类型。当前支持： 支持如下数据源属性： 1. Kafka 的 broker 连接信息。格式为 ip:host。多个broker之间以逗号分隔。 2. 指定要订阅的 Kafka 的 topic。 3. 指定需要订阅的 kafka partition，以及对应的每个 partition data_source_properties data_source_properties kafka_broker_list kafka_broker_list "kafka_broker_list" = "broker1:9092,broker2:9092" "kafka_broker_list" = "broker1:9092,broker2:9092" kafka_topic kafka_topic "kafka_topic" FROM FROM KAFKA KAFKA (( "kafka_broker_list" "kafka_broker_list" == "broker1:9092,broker2:9092,broker3:9092" "broker1:9092,broker2:9092,broker3:9092",, "kafka_topic" "kafka_topic"

........................................................................................... 15 Broker ................................................................................................ ....................................................... 16 如何登录 APACHE ROCKETMQ 的 NAMESERVER 和 BROKER NODE？ ........................................... 20 Page 3 of 21 背景介绍 Apache 部署如下的一个架构，包含两个 Nameserver 互为备份，三个 Broker Instance 每个 Broker Instance 上面启动三个 Broker 实例，每个 Broker 实例会在三个 Broker Instance 之间形成一个基于 Raft 的高可用 dledger 集群，如果其中一个 Broker 实例 因故障无法提供服务，Raft 协议会自动在另外两个 Instance

ints 服务 CA bundle 的变化 OpenShift Service Broker 和 service Catalog 已过时 Service Catalog 不再被默认安装 Template Service Broker 不会被默认安装 OpenShift Ansible Service Broker 不再会被默认安装 多个 oc adm 命令现已过时 imagepolicyadmission OpenShift Container Platform 4.1. OpenShift Container Platform 4.1 发 发行注 行注记 记 4 OpenShift Service Broker 和 Service Catalog Service Catalog 和 OpenShift service brokers 将会在 以后发行的几个 OpenShift 4 版本中被逐渐替代。使 带有一个重新设计的开发者目录（Developer Catalog），它把所有新 的 Operators 和已存在的代理服务（broker services）集成在一起， 使用新的方法来发现、排序并理解如 何使用这些服务。开放者目录是开发人员访问所有可用服务的一个起点。它把 Operators、Service Catalog、broker 和 Source-to-Image (S2I) 的功能集成在一起。 1.2.9.2. 新的管理界面

为什什么做基于 Kubernetes 的 Kafka 平台 基于 Kubernetes 的 Kafka 平台实践 Apache Kafka 分布式的流式数据平台 ⾼高吞吐 容错性 Broker Broker Broker Producer Consumer Topic Topic Topic Producer Consumer 平台承载知乎业务⽇日志、数据传输和消息队列列服务 平台线上稳定运⾏行行 的集群细分 • Topic 服务等级、容量量和规模划分 资源规划 多变需求引发集群规模增⻓长 • Broker, Topic 规模 服务器器资源利利⽤用率 • 单机运⾏行行多 Broker ⽅方式 多集群问题 磁盘是不不得不不考虑的问题 • ⽇日志落盘，⽇日志失效 ⽅方案 • Broker 之间物理理磁盘隔离 磁盘是个⼤大问题 服务器器选型 ⾼高密度存储服务器器 • 多磁盘, 单盘 单盘 RAID • 服务器器使⽤用率⾼高 如何管理理集群 集群数增加，导致 Broker 扩张 • 如何调度它们 • 如何管理理它们 服务器器如何管理理 Kubernetes 集群资源管理理和调度 容器器技术提供资源隔离 应⽤用程序管理理 Kafka on Kubernetes 设计 Kafka 容器器 • 内存、CPU、⽹网络和存储 调度 Kafka 容器器 内存

.. 逻辑资源按需扩缩容 MQ集群 MQ集群 根据Load等Metrics做 出扩容决策 PV1 Broker1 PV2 Broker2 PV3 Broker3 PV4 Broker4 MQ集群 根据Load等 Metrics做出 扩容决策 PV1 PV3 Broker1 PV2 PV4 Broker2 漂移 物理资源按需扩缩容 高级能力-云原生中间件-应用的基石-MQ为例-2-Mesh化 Citadel Mixer Pliot Galley Injector MQ Broker Envoy MQ Broker Envoy MQ Broker Envoy 注册 Service Service Service Pub sub Pub sub Pub sub xDS Config • MQ Broker把Envoy作为 它与服务之间的代理 • Envoy拓展兼容了PubSub 通信的协议，比如

biz-config dba-config2 MQ缺乏单元化路由能力 中心机房 namesrv 单元机房 producer broker- master broker-slave consumer namesrv broker- master broker-slave consumer producer 业务板块边界模糊 registry(分期乐) 分期乐业务服务 分期乐业务数据 dba_config2 mq具备单元化路由及容灾能力 中心机房 namesr v 单元机房 producer broker- master broker- slave consume r namesr v broker- master broker- slave consume r producer 统一开放网关建设，划清业务板块边界 registry(鼎盛)

architecture� 典型应⽤用场景 ⾦金金融交易易 电⼦子商务 智能制造 分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker B Topic B ConsumerGroupA ConsumerGroupB Consumer 1 Consumer 2 Producer B Consumer Consumer 1 Consumer 2 MessageQueue1 MessageQueue2 MessageQueue1 MessageQueue2 部署模型 组件细节 Broker Netty RemotingServer Netty Remoting Client NameServer All Info In Memory except KV config info RocketMQ使⽤用场景 分布式事务解决⽅方案 半消息 远程事务 特点： 1. 稳定，⽀支持⾼高并发 2. 回查机制可靠易易⽤用 3. 不不引⼊入额外的依赖 注意：回查⽅方法需要幂等 Broker 实现细节 Producer with PID TransactionListener executeLocalTransaction() checkLocalTransaction()

- /data/docker/rocketmq/store:/root/store - /data/docker/rocketmq/conf/broker.conf:/opt/rocketmq-4.4.0/conf/broker.conf environment: NAMESRV_ADDR: "172.10.0.14:9876" JAVA_OPT_EXT: JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m" command: ./mqbroker -c ../conf/broker.conf depends_on: - rmqnamesrv networks: default: ipv4_address: 172.10.0.15 rmqconsole: external: name: rmqnet 四、设置broker.conf， ## vi /data/docker/rocketmq/conf/broker.conf brokerClusterName = DefaultCluster brokerName = broker-a autoCreateTopicEnable=true brokerId = 0 deleteWhen