基于 Apache APISIX 与 RocketMQ 构建云原生一体化架构 杜恒 ASF Member，Apache RocketMQ PMC 成员 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information Alibaba. W r i t e h e r e S o m e t h i n g a b o u t 01 Apache RocketMQ 简介 02 云原生时代的 RocketMQ 03 借力 APISIX 构建云原生接入体系 CONTENT Apache RocketMQ 简介 01 业务消息领域挑战 • 核心链路，稳定性要求高、时延敏感 • 容量峰值具有随机性，弹性要求高 e S o m e t h i n g a b o u t 云原生时代的 Apache RocketMQ 02 C loud Hosting C loud Native 公有云 专有云 混合云 EC S 容器 K8S 物理机 经典网络/VPC 网络 Overlay/Underlay NVMe 普通云盘 ESSD 云盘 SA TA 独占/混部/独立交付…… • 集群节点异常成为常态

扫一扫加入作者公众号 扫一扫关注 中间件兴趣圈 RocketMQ 官微 扫一扫关注【阿里巴巴云原生】公众号 阿里云开发者“藏经阁” 获取第一手技术干货 海量免费电子书下载 作者简介 作者简介 丁威，《RocketMQ 技术内幕》作者，RocketMQ 官方社区优秀布道师，荣获 CSDN2020 博客之星亚军；担任中通快递研发中心资深架构师，维护『中间件兴趣圈』公 众号，主打成体系剖析 OpenMessaging TSC Member，目前负责 RocketMQ 专有云商业化以 及开源技术生态构建。具有多年分布式系统、中间件 研究及工程经验。目前对分布式中间件、K8s、微服 务、物联网、Serverless 感兴趣。 推荐序 Apache RocketMQ 作为一款高吞吐，抗万亿消息堆积的云原生消息平台，目前已 经被国内 75% 以上互联网、金融等公司所采用，逐渐成为企业 RocketMQ 捐赠给 Apache 基金会成为 Apache 的顶 级项目，我内心是无比激动，因为终于可以一睹一款高性能的消息中间件的实现原理。 通过阅读了 RocketMQ 官方，以下几个特别的点更是吸引了我的注意，让我下定决 心深入研究一番。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 7 > 开篇：我的另一种参与 RocketMQ 开源社区的方式  RocketMQ

tranStateTable 文件重建事物状态表 异常恢复： 先按照正常流程恢复 Tran Redo Log commitLog 异常恢复，commitLog 根据 checkpoint 时间点重新生成 redolog， 重新分发 消息 DispatchRequest, 分发消息到位置信息到 ConsumeQueue 更新 Transaction State Table d) 加载事物模块 e) 加载存储检查点 加载${user.home} \store\checkpoint 这个文件存储了 3 个 long 类型的值来记录存储 模型最终一致的时间点，这个 3 个 long 的值为 physicMsgTimestamp 为 commitLog 最后刷盘的时间 logicMsgTimestamp 为 consumeQueue 最终刷盘的时间 indexMsgTimestamp 读取${user.home} \store\checkpoint 获取最终一致的时间点 判断最终一致的点所在的文件是哪个 从最新的 mapedFile 开始，获取存储的一条消息在 broker 的生成时间，大 于 checkpoint 时间点的放弃找前一个文件，小于等于 checkpoint 时间点的 说明 checkpoint 在此 mapedfile 文件中 从 checkpoint

RocketMQ开源 Apache RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 订阅消息峰值：数千万条/秒 堆积消息峰值：千亿条 消息中间件核心链路 1.4万亿 万亿洪峰下有哪些问题 机器假死 IO Util，Load飙高 磁盘响应慢 消息大量堆积 网卡故障，甚至流量跑满 磁盘损坏 零点之战：发布消息SLA要求100% 慢请求开始大量增加 分布式系统雪崩 容量不足，单机热点 问题的本质： 可用性无限接近100% 可靠性无限接近100% 可用性 > 可靠性 1.4万亿 双十一当天高可用要求

RocketMQ开源 Apache RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 订阅消息峰值：数千万条/秒 堆积消息峰值：千亿条 消息中间件核心链路 1.4万亿 万亿洪峰下有哪些问题 机器假死 IO Util，Load飙高 磁盘响应慢 消息大量堆积 网卡故障，甚至流量跑满 磁盘损坏 零点之战：发布消息SLA要求100% 慢请求开始大量增加 分布式系统雪崩 容量不足，单机热点 问题的本质： 可用性无限接近100% 可靠性无限接近100% 可用性 > 可靠性 1.4万亿 双十一当天高可用要求

topic 解决就非常丌合 项目开源主页：https://github.com/alibaba/RocketMQ 5 适。如果要让 MQ 解决此问题，会对 MQ 的性能造成非常大的影响。返里要确保一点，业务上是否确实需 要返种严格的优兇级，如果将优兇级压缩成几个，对业务的影响有多大？ 4.3 Message Order 消息有序挃的是一类消息消费时，能挄照収送的顺序来消费。例如：一个订单产生了 (1). 収送消息阶段，丌允许収送重复的消息。 (2). 消费消息阶段，丌允许消费重复的消息。 只有以上两个条件都满足情冴下，才能讣为消息是“Exactly Only Once”，而要实现以上两点，在分布式系统环 境下，丌可避免要产生巨大的开销。所以 RocketMQ 为了追求高性能，幵丌保证此特性，要求在业务上迕行去重， 也就是说消费消息要做到幂等性。RocketMQ 虽然丌能严格保证丌 存储，文件记彔形式。 当消息丌能在内存 Cache 命中时，要丌可避免的访问磁盘，会产生大量读 IO，读 IO 的吞吏量直接决定了 消息堆积后的访问能力。 评估消息堆积能力主要有以下四点： (1). 消息能堆积多少条，多少字节？即消息的堆积容量。 (2). 消息堆积后，収消息的吞吏量大小，是否会叐堆积影响？ 项目开源主页：https://github.com/alibaba/RocketMQ

Master 继续提供服务从而达到高可用的效果，下图是部署完的一个架构实例图 Page 4 of 18 • (*) 跨越多个可用区的公有⼦网和私有⼦网的 VPC（由西云数据运营的 AMAZON WEB SERVICES（宁 夏）区域为 3 个，由光环新网运营的 AMAZON WEB SERVICES（北京）区域为 2 个）。 • (*) 在公有⼦网中，允许私有⼦网中的资源（RocketMQ 为由光环新网运营的 AMAZON WEB SERVICES（北京）区域，因其对外 提供 2 个可用区，本解决方案将重复使用其中一个可用区来创建第三个⼦网。 部署说明 1. 此方案仅针对使用由西云数据运营的 AMAZON WEB SERVICES（宁夏）区域或由 光环新网运营的 AMAZON WEB SERVICES（北京）区域。在开始之前，请先确保 您已经有了一个可以访问这两个区域的 AMAZON NAT 网关或 NAT 实例的路由，使得其拥有出 站 Internet 连接。 • 您必须创建堡垒主机及其关联的安全组以实现⼊站 SSH 访问 快速部署 本文的步骤主要针对在运⾏在由西云数据运营的 AMAZON WEB SERVICES（宁夏）区域 或由光环新网运营的 AMAZON WEB SERVICES（北京）区域中部署该解决方案，您可以 使用以下链接快速启动一个 AMAZON

年由阿里巴巴捐献给了 Apache 基金会，2017 年成为 Apache 的 顶级项目，RocketMQ 具有低延迟，金融级高可用以及厂商中立的特点，目前广泛使 用于国内外的互联网公司。针对亚马逊云科技客户需要在亚马逊云科技上使用 RocketMQ 的需求，我们开发了一键部署的方案，帮助客户快速的在自己的账号部署 一个基于 EC2 的高可用的 RocketMQ 集群。 架构 Amazon CloudFormation 部署以下资源。如果您选择的 是将此⽅案部署到已有 VPC 中，将跳过 (不创建) 带有星号（*）的组件，并提⽰ 您⽬ 前现有的配置。 按照默认 RocketMQ 的部署参数部署完成后，该方案会在用户的亚马逊云科技账户下 部署如下的一个架构，包含两个 Nameserver 互为备份，三个 Broker Instance 每个 Broker Instance 上面启动三个 Broker 实例，每个 Broker 继续提供服务从而达到高可用的效果，下图是部署完的一个架构实例图 Page 4 of 21 • (*) 跨越多个可⽤区的公有⼦⽹和私有⼦⽹的 VPC（由西云数据运营的 亚 马逊云科技（宁 夏）区域为 3 个，由光环新⽹运营的 亚马逊云科技（北 京）区域为 2 个）。 • (*) 在公有⼦⽹中，允许私有⼦⽹中的资源（RocketMQ 实例）进⾏出站 Internet 连接的 NAT

存储设计 Cloud Native 的定义 • 设计，搭建和部署应⽤用的⽅方式 • 运⾏行行在云计算环境 IaaS • 快速，弹性 • 降低技术⻛风险 • 互操作性，易易部署，可监控管理理 消息系统挑战 • 传统设计和实现⽅方⾯面 • 组件的微服务化，例例如存储和计算分离 • 开源软件的冲击，云服务选型⾯面临挑战 • 缺少稳定的多语⾔言类库 • Cloud AI Ops⽅方⾯面 • HTTP/RESTful/JSON 灵活调⽤用，监控及运维能⼒力力不不⾜足 • Cloud云⼚厂商⽅方⾯面 • 不不同云⼚厂商之间消息产品互操作性成本较⾼高，⽤用户跨云⼚厂商迁移难 • 云上与云下产品的⽆无缝衔接能⼒力力差 云原⽣生与业界标准 OpenMessaging AMQP • 简单灵活 • 云原⽣生 • ⼚厂商中⽴立 • 语⾔言⽆无关 • ⾯面向消息和流的标准 关注阿⾥里

cluster # broker名字，不同的配置文件填写的不一样 brokerName=broker-a # 0 表示master，>0 表示slave brokerId=0 # 删除文件时间点，默认凌晨4点 deleteWhen=04 # 文件保留时间，默认48小时 fileReservedTime=48 # Broker的角色，AYNSC_MASTER=异步复制master，SYNC_MAS cluster # broker名字，不同的配置文件填写的不一样 brokerName=broker-b # 0 表示master，>0 表示slave brokerId=1 # 删除文件时间点，默认凌晨4点 deleteWhen=04 # 文件保留时间，默认48小时 fileReservedTime=48 # Broker的角色，AYNSC_MASTER=异步复制master，SYNC_MAST cluster # broker名字，不同的配置文件填写的不一样 brokerName=broker-b # 0 表示master，>0 表示slave brokerId=0 # 删除文件时间点，默认凌晨4点 deleteWhen=04 # 文件保留时间，默认48小时 fileReservedTime=48 # Broker的角色，AYNSC_MASTER=异步复制master，SYNC_MAST