topic 的路 由信息。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 11 > 1.1 RocketMQ 核心概念扫盲篇 3. Client 消息客户端，包括 Producer(消息发送者)和 Consumer(消费消费者)．客户端在同一 时间只会连接一台 nameserver，只有在连接出现异常时才会向尝试连接另外一台。客户 端每隔 30s 向 Nameserver 温馨提示：消息发送者在到默认路由信息时，其队列数量，会选择 DefaultMQProdu cer#defaultTopicQueueNums 与 Nameserver 返回的的队列数取最小值，DefaultMQ Producer#defaultTopicQueueNums 默认值为 4，故自动创建的主题，其队列数量默认 为 4。 Step3：发送消息 DefaultMQProducerImpl#sendKernelImpl InterruptedException { DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_ group_name"); producer.setNamesrvAddr("127.0.0.1:9876"); producer.start(); for (int i = 0; i < 9; i++)

Java Chassis通信处理详解 通信优化实践 议题  问题不挑战  整体线程模型  Consumer  Producer 问题不挑战 消费者 编程 模型 透明 RPC Spring MVC Transport Highway Vertx REST Servlet REST 生产者 编程 模型 透明 Reactive还是同步 ServiceComb的同步 仅仅是指编程模型上的同步，跟网络通信无关 因为所有场景下网络操作都是异步的 •Producer •Consumer 整体线程模型 Producer Consumer Eventloop 连接 Eventloop 连接 …… 业务线程 业务线程 业务线程 业务线程 Eventloops CAS Message Queue Socket.write(composite buffer) TPS Latency(ms) CPU Consumer Producer 优化前 81986 1.22 290% 290% 优化后 145369 0.688 270% 270% Connection.send Consumer Highway

Service • Metrics • 性能调优 设计演进-初始 Transport RPC Servlet Rest Consumer 透明RPC RestTemplate Producer 透明RPC JAX-RS SpringMVC • 传输绑架开发模式 • 传输可能对业务代码产生严重的侵入 • 治理逻辑与业务代码或传输耦合，需要针对各种场景独立开发 治理 治理 治理 设计演进 服务契约 (OpenAPI) Transport Highway Servlet Rest Vertx Rest Consumer 透明RPC RestTemplate Producer 透明RPC JAX-RS SpringMVC 以契约为核心，贯穿始终 • 开发模式(业务代码)、治理、传输三方解耦，互不感知 • 以高性能的Reactive为基础，同时兼容传统的同 Foundation javassist protobuf rest …. 透明RPC Jaxrs SpringMVC 透明RPC Jaxrs SpringMVC Consumer Handler Producer …… Transport 透明RPC RestTemplate LB QPS Trace RESTful Vertx Highway 透明RPC Jaxrs SpringMVC

分布式事务 异步解耦 IoT/IIoT 决策分析 实时计算 概念模型 Broker A Producer A Topic A Broker B Topic B ConsumerGroupA ConsumerGroupB Consumer 1 Consumer 2 Producer B Consumer 1 Consumer 2 MessageQueue1 MessageQueue2 All Info In Memory except KV config info Netty RemotingServer topic register and heart beats Producer Consumer NRC BrokerAddrTlb send Msg topic route heatbeats MsgQueList callback/check NRC Apache RocketMQ 存储设计 存储⽂文件 - - - - - 1G - - - - - 6M - - - - - 400M 配置和状态相关 消息存储和检索相关 存储设计 producer message(topic, queueId, tags, keys, msgBody) commitlog 8 bytes | 4 bytes | 8 bytes commitLogOffset

stealing Software Queue Issues Producer Enqueue Software Dequeue Software Head and Tail pointers Dequeue Software Dequeue Software Enqueue Software Producer Consumer Consumer Consumer • Dynamic Load Balance DLB Enqueue Logic Head and Tail pointers Dequeue Logic & Load Balancer Producer Producer Consumer Consumer Consumer • No Synchronization latency • No memory/cache latency • No CPU Reclaim Message-ID • Transfers Message-ID through HW Senders Receivers Channel Hardware Hardware Producer Consumer Give Ownership Take Ownership Message-ID Reclaiming Message- Ownership Tracking

(recovery) • Manual intervention (admin interaction) Producer and Consumer Pattern • Front end (UI) or registry generates replication jobs (producer) • Backend workers handle replication (consumer) • front end / registry Front End Registry Worker 1 Worker 2 Worker3 Producer Consumer Job queue Dispatcher Modified Producer and Consumer Pattern • Non blocking for producers • Dispatcher queues Workers added back to available worker queue after jobs are completed Front End Registry Worker Producer Consumer Job queue dispatch Available worker queue Goroutine as Lightweight Thread • Simple

设计和验证高可用分布式系统的案例分享 Ø 高可用系统的最佳实践总结 一个分布式消息系统的概念模型 Producer X Topic A Queue A0 Queue A1 Server Group 0 Topic B Queue A2 Queue A0 Server Group 1 Producer Y Consumer A1 消费组A Consumer A2 Consumer B1 B1 消费组B Consumer B2 Topic A 分布式消息系统的部署模型 Producer Discovery Service Cluster Consumer Consumer Consumer Producer Producer Server Group 0 Server Group 1 分布式消息系统在 Kubernetes 下的部署运维 Server Master

Select { Msg case default: Msg } chan Get: chan Select } 数据⼴播 Topic Channel Channel Producer Consumer Consumer Consumer Channel Topic 异步把消息⼴播给 Channel 数据⼴播 Topic ⾃⾝拥有 buffer 的能⼒ Memory Lookupd NSQd NSQd Server 2 NSQd NSQd Server 3 NSQ Lookupd NSQd 分布式架构 NSQ Lookupd NSQd Producer Consumer NSQ Lookupd Stateless 内部逻辑 协议解析 Client Server time IDENTIFY RDY 2 MSG 1 FIN moveForward() MetaData readFileNum readPos writeFileNum writePos nextFileNum nextPos ReadChan SDK Producer router Conn responseChan errorChan transactionChan sendCommand Publish Consumer Consumer

CPU、ThreadCount、Heap、 NonHeap 基本的资源使用状态 Consumer端 Latency、CallCount、TPS 包含操作级别和微服务实例级别 Producer端 waitInQueue、lifeTimeInQueue、 executionTime、Latency、 CallCount、TPS 包含操作级别和微服务实例级别 • 对于时延 metricsEndpoint.metrics Producer Side servicecomb_calculator_metricsEndpoint_ metrics_producer_lifeTimeInQueue_averag e 0.0 ... servicecomb_calculator_metricsEndpoint_ metrics_producer_executionTime_total

RocketMQ的技术概览 在我们看来，它最大的创新点在于能够通过精巧的横向、纵向扩展，不断满足与日俱增的海量消息在 吞吐、高可靠、低延迟方面的要求。 目前RocketMQ主要由NameServer、Broker、Producer以及Consumer四部分构成，如下图所示。 原文链接：Apache RocketMQ 介绍 NameServer以轻量级的方式提供服务发现和路由功能，每个NameServer存有全量的路由信息，提 上亿级消息堆积能力，同时可严 保证消息的有序性。除此之外，Broker还提供了同城异地容灾能力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。 Producer由用户进行分布式部署，消息由Producer通过多种负载均衡模式发送到Broker集群，发送 延时，支持快速失败。 Consumer也由用户部署，支持PUSH和PULL两种消费模式，支持集群消费和广播消息，提供实时的 support TCP Ensure ordering of messages w thin a partition Not Supported Supported, with async producer Not Supported upported, you can use Kafka Streams to filter messages Not Supported High perfo