Apache RocketMQ on Amazon Web Services

• 语言: 英语
• 格式: .pdf
• 来源: s3.cn-north-1.amazonaws.com.cn

摘要

文档详细介绍了如何在 Amazon Web Services (AWS) 上快速部署 Apache RocketMQ 集群。通过使用 AWS CloudFormation 模板，用户可以一键部署高可用的 RocketMQ 集群，包括 Nameserver 和 Broker 实例的配置。文档涵盖了网络配置、安全设置、资源分配以及部署后的使用说明，帮助用户在 AWS 环境中高效管理消息投递和流数据。

AI总结

# Apache RocketMQ on Amazon Web Services 部署总结

## 背景介绍
Apache RocketMQ 是一款由阿里巴巴捐献给 Apache 基金会的开源分布式消息投递与流数据平台，2017 年成为 Apache 的顶级项目。它具有低延迟、金融级高可用性和厂商中立的特点，广泛应用于国内外互联网公司。针对 AWS 用户的需求，提供了一键部署方案，帮助用户快速在 AWS 账户中部署一个基于 EC2 的高可用 RocketMQ 集群。

---

## 架构设计
- **部署方式**：支持两种部署选项，一种是部署到新 VPC 环境，另一种是部署到已有 VPC 环境。
- **默认架构**：包含两个 Nameserver（互为备份）和三个 Broker Instance，每个 Broker Instance 启动三个 Broker 实例，形成基于 Raft 协议的高可用 dledger 集群。若其中一个 Broker 实例故障，Raft 协议会自动在剩余实例中选举 Master 继续提供服务。
- **资源组件**：默认部署包括 Nameserver、Broker 节点、堡垒机（用于 SSH 访问）及相关存储和网络配置。

---

## 部署参数配置
以下是关键参数配置：
| 参数名称 | 默认值 | 说明 |
|-------------------------|--------------------|----------------------------------------|
| **BrokerClusterCount** | 3 | Broker 节点数量 |
| **BrokerNodeInstanceType** | m5.xlarge | Broker 节点 EC2 实例类型 |
| **NameServerClusterCount** | 2 | Nameserver 节点数量 |
| **NameServerInstanceType** | m5.large | Nameserver 节点 EC2 实例类型 |
| **VolumeSize** | 400 | EBS 数据卷大小（GiB） |
| **Iops** | 100 | 若选择 io1 卷类型，设置为 EBS IOPS |
| **RocketMQVersion** | 4.7.1 | 支持的 RocketMQ 版本 |
| **FlushDiskType** | ASYNC_FLUSH | RocketMQ 刷盘方式（ASYNC_FLUSH 或 SYNC_FLUSH） |

---

## 安全配置
- **密钥对**：部署过程中需要创建和使用密钥对（Key Pair），用于连接 EC2 实例。请妥善保管密钥，丢失后将无法访问实例。
- **堡垒机**：提供一个 t2.micro 实例作为堡垒机，用于安全访问 RocketMQ 节点。

---

## 部署步骤
1. **准备阶段**：
- 创建密钥对并上传至 AWS Key Pairs。
- 确保目标区域的 DHCP 选项启用域名配置集。
- 确保私有子网的路由表中包含 NAT 网关或 NAT 实例，以支持出站 Internet 连接。

2. **启动 CloudFormation 堆栈**：
- 使用 AWS CloudFormation 模板快速部署 RocketMQ 集群。
- 设置参数（如 VPC ID、子网 ID、安全组 ID 等），完成堆栈创建。

3. **堆栈创建**：
- 约 15 分钟后，堆栈状态变为 `CREATE_COMPLETE`，表示部署完成。
- 通过输出（Outputs）查看创建的资源细节。

---

## 使用 Apache RocketMQ
1. **访问控制台**：
- 使用浏览器访问 RocketMQ 的 Web 控制台，地址为 `http://:8081`。
- 通过堡垒机 SSH 登录 Nameserver 和 Broker 节点。

2. **部署目录说明**：
- **Nameserver**：安装目录为 `/home/ec2-user/rocketmq-deploy/`，包含 RocketMQ 安装文件和控制台 JAR 包。
- **Broker**：安装目录为 `/home/ec2-user/rocketmq-deploy/`，包含 Broker 程序和配置文件。

---

## 注意事项
- **高可用性**：默认部署提供高可用架构，Raft 协议确保 Broker 节点的故障恢复能力。
- **存储配置**：EBS 卷类型支持 `gp2` 和 `io1`，默认为 `gp2`，建议根据负载选择合适的 IOPS。
- **网络配置**：确保子网路由表和安全组配置正确，以支持集群内部通信和外部访问。

---

## 总结
Apache RocketMQ on AWS 提供了一键部署方案，通过 AWS CloudFormation 快速创建高可用的 RocketMQ 集群。默认架构包含两个 Nameserver 和三个 Broker 节点，支持金融级高可用和低延迟的消息投递。部署过程中需注意网络和安全配置，确保集群的稳定性和安全性。