万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Custom apps Analytics Monitoring Open platform IM … Any protocols 1.4万亿 Apache RocketMQ – 商业化版本 感谢大家 THANKS! Alibaba Middleware l http://openmessaging.github.io/ l http://rocketmq.apache.org/

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Custom apps Analytics Monitoring Open platform IM … Any protocols 1.4万亿 Apache RocketMQ – 商业化版本 感谢大家 THANKS! Alibaba Middleware l http://openmessaging.github.io/ l http://rocketmq.apache.org/

基于 Apache APISIX 与 RocketMQ 构建云原生一体化架构 杜恒 ASF Member，Apache RocketMQ PMC 成员 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information q-con n ect 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 轻量级队列 rocketm q-strea m s 轻量级实时计算 引擎发布 5.0 消息事件流融合处理平台 Sta r: 1 .7w C on tributor: 50 0 + RocketMQ 发展历程 W r i t e h e r e S o m e • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离： • Broker 升级为真正的无状态服务节点，无 binding • Broker和Store节点分离部署、独立扩缩 • 可分可合，适应多种业务场景，降低运维负担 云原生基础设施： • 可观测性能力云原生化，OpenTelemetry 标准化 • Kubernetes 一键式部署扩容交付 W r

............................................................................ 16 7.1 单机支持 1 万以上持丽化队列 ................................................................................................. 月份上线，在淘宝内部被广泛使用。 三、RocketMQ 3.x 基亍公司内部开源共建原则， RocketMQ 项目只维护核心功能，丏去除了所有其他运行时依赖，核心功能最 简化。每个 BU 的个性化需求都在 RocketMQ 项目乀上迕行深度定制。RocketMQ 吐其他 BU 提供的仁仁是 Jar 包，例如要定制一个 Broker，那举只需要依赖 rocketmq-broker 返个 jar 淘宝个性化需求 为淘宝应用提供消息服务 项目开源主页：https://github.com/alibaba/RocketMQ 2  com.alipay.zpullmsg v1.0 = RocketMQ + 支付宝个性化需求 为支付宝应用提供消息服务  com.alibaba.commonmq v1.0 = Notify + RocketMQ + B2B 个性化需求

IO模块遇到了瓶颈，几经努力但改善成果不 。这时正值Kafka流行，于是引起了阿里巴巴开发团队的注意，对kafka的无限消息堆积，高效持久化 度等特性非常赞赏。但不幸的是，Kafka不能满足他们的要求，特别是在低延迟和高可靠性方面。在 种情况下，阿里巴巴决定发明一个新的消息传递引擎来处理更广泛的用例集，从传统的发布/订阅方 到大批量实时零损失容忍交易系统。 里程碑 2012年，阿里巴巴开始开发Rocke 前RabbitMQ已经成为OpenStack Iaas平台首选的消息服务，其背后的支持力度不言而喻。 ActiveMQ最初主要的开发者在LogicBlaze，现在主要开发红帽，是JMS规范的参考实现，也是Apach 旗下的老牌消息服务引擎。JMS虽说是一个API级别的协议，但其内部还是定义了一些实现约束，不 缺少多语言支撑。ActiveMQ的生态堪称丰富多彩，在该Apache顶级项目下，拥有不少子项目，包括 HornetMQ演变而来

推荐人 杜恒，Apache RocketMQ PMC Member/ committer，Linux OpenMessaging TSC Member，目前负责 RocketMQ 专有云商业化以 及开源技术生态构建。具有多年分布式系统、中间件 研究及工程经验。目前对分布式中间件、K8s、微服 务、物联网、Serverless 感兴趣。 推荐序 Apache RocketMQ 作为 下定决心后便开始了我的源码分析 RocketMQ 之旅，大概在 4 个多月的时间中连续 发表了 30 余篇文章，从 Nameserver、消息发送高可用设计、消息存储、消息消费、消 息过滤、事务消息等各个方面对其进行了体系化的剖析，边写边分享，边分享边传播，终于 得到了机械工业出版社华章分社的杨福川老师的认可，邀请我出书。 在杨老师和张工的帮助与指点下，经过将近半年的努力，书稿基本完稿。由于我当时是 一位名不经传的 nameserver，只有在连接出现异常时才会向尝试连接另外一台。客户 端每隔 30s 向 Nameserver 发起 topic 的路由信息查询。 温馨提示：Nameserver 是在内存中存储 Topic 的路由信息，持久化 Topic 路由信息 的地方是在 Broker 中，即${ ROCKETMQ_HOME}/store/config/topics.json。 在 RocketMQ4.5.0 版本后引入了多副本机制，即一个复制组（m-s）可以演变为基

InfoQ 2. Apache RocketMQ背后的设计思路与最佳实践. 云栖社区 3. 专访RocketMQ联合创始人：项目思路、技术细节和未来规划. InfoQ 4. 万亿级数据洪峰下的分布式消息引擎. 电子书节选章节 5. 捐赠Apache背后那些鲜为人知的故事. 中间件博客节选 © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u

一：consumer 启动流程 指定 group 订阅 topic 注册消息监听处理器，当消息到来时消费消息 消费端 Start 复制订阅关系 初始化 rebalance 变量 构建 offsetStore 消费进度存储对象 启动消费消息服务 向 mqClientFactory 注册本消费者 启动 client 端远程通信 定时从 nameserver 获取 topic 路由信息 定时清理下线的 borker 定时向所有 broker 发送心跳信息，（包括订阅关系） 定时持久化 Consumer 消费进度（广播存储到本地，集群存储到 Broker） 统计信息打点 动态调整消费线程池 启动拉消息服务 PullMessageService ProccessQueueTable 1) 比对 mqSet 将多余的队列删除， 当 broker 当机或者添加，会导致分配到 mqSet 变 化， a) 将不在被本 consumer 消费的 messagequeue 的 ProcessQueue 删除， 其实是设 置 ProcessQueue 的 droped 属性为 true b)

部署⼀台堡垒主机，此数⽬可配置，最多启动 4 台。通过堡垒主 机访问私有⼦⽹ 中的 RocketMQ 相关节点。 • AMAZON Identity and Access Management (IAM) 实例⻆⾊，具有细 化控制的权限， ⽤于访问部署过程所需的 AMAZON WEB SERVICES 服 务。 Page 5 of 21 • (*) 安全组，⽤于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝ RocketMQ 快速部署脚本做了 ⾃定义化并且 上传到了您⾃⼰ 的桶中。 25 Quick Start S3 Key Prefix QSS3KeyPrefix quickstart- rocketmq/ S3 前缀。请不要更改此选项， 除⾮您对此启动脚本做了⾃定义 Page 12 of 21 化并且存放到了不同的前缀⽬录 下。 Page 13 of 21 本做了⾃定义化并且上传到了您 ⾃⼰的桶 中。 8 Quick Start S3 Key Prefix QSS3KeyPrefix quickstart- rocketmq/ S3 前缀。请不要更改此选项， 除⾮您对此启动脚本做了⾃定义 化并且存放到了不同的前缀⽬录 下。 9 Quick Start

项，除⾮您对启动脚 RocketMQ 快速部署脚本做了自 定义化并且 上传到了您自己的 桶中。 25 Quick Start S3 Key Prefix QSS3KeyPrefix quickstart- rocketmq/ S3 前缀。请不要更改此选项， 除⾮您对此启动脚本做了自定义 化并且存放到了不同的前缀目录 下。 选项 2：用于将 RocketMQ 存储 桶。请不要 更改此选 项，除⾮您对启动脚 本做了自定义化并且上传到了您 自己的桶 中。 8 Quick Start S3 Key Prefix QSS3KeyPrefix quickstart- rocketmq/ S3 前缀。请不要更改此选项， 除⾮您对此启动脚本做了自定义 化并且存放到了不同的前缀目录 下。 9 Quick Start bucket region QSS3BucketRegion cn-north-1 S3 bucket 对应的 region。请不要 更改 此选项，除⾮您对此启动 脚本做了自定义化并且存放到了 不同 region 的 bucket 下面。 Other parameters 10 BrokerClusterC ount BrokerClusterCount