快速部署高可用的Apache RocketMQ 集群 - Amazon S3

• 语言: 中文（简体）
• 格式: .pdf
• 来源: s3.cn-north-1.amazonaws.com.cn

摘要

文档介绍了如何在亚马逊云科技（Amazon S3）上快速部署高可用的Apache RocketMQ集群。通过使用Amazon CloudFormation，提供了两种部署选项：一种是部署到新VPC环境，另一种是部署到已有VPC环境。默认参数下，部署架构包含两个互为备份的Nameserver节点和三个Broker实例，每个Broker实例形成一个基于Raft协议的高可用dledger集群。文档详细说明了参数配置、网络配置、安全配置以及部署注意事项，确保集群的高可用性和性能。

AI总结

### 文档总结

#### 1. **背景介绍**
Apache RocketMQ 是一款高性能、分布式的消息投递与流数据平台，由阿里巴巴捐献给 Apache 基金会，现为 Apache 顶级项目。其特点包括低延迟、金融级高可用性和厂商中立。针对亚马逊云科技（Amazon S3）用户需求，提供了一键部署的方案，帮助用户快速在亚马逊云科技上部署高可用的 RocketMQ 集群。

#### 2. **架构概述**
- **部署方式**：支持两种部署选项：
- 部署到新 VPC 环境。
- 部署到已有 VPC 环境。
- **默认架构**：默认部署包含：
- 2 个 Nameserver 节点（互为备份）。
- 3 个 Broker 实例，每个 Broker 实例运行在独立的 EC2 实例上，形成基于 Raft 协议的高可用 dledger 集群。若其中一个实例故障，Raft 协议会自动选举新的 Master 继续服务。
- **存储配置**：使用 Amazon EBS 卷，支持 GP2 或 io1 类型，卷大小默认为 400 GiB。

#### 3. **关键参数配置**
- **Broker 节点**：
- 数量：默认 3 个。
- 实例类型：默认 `m5.xlarge`。
- 刷盘方式：默认 `ASYNC_FLUSH`。
- **Nameserver 节点**：
- 数量：默认 2 个。
- 实例类型：默认 `m5.large`。
- **EBS 配置**：
- IOPS：默认 100（仅适用于 io1 卷类型）。
- 卷大小：默认 400 GiB。
- **版本支持**：支持 RocketMQ 版本 4.7.1、4.8.0 和 5.1.1。

#### 4. **部署注意事项**
- **网络配置**：
- 新 VPC 部署：默认创建包含公有子网和私有子网的 VPC。
- 已有 VPC 部署：需确保已有 VPC 满足以下条件：
- 至少 2 个公有子网和 3 个私有子网。
- 私有子网路由表中配置 NAT 网关或 NAT 实例，确保出站 Internet 连接。
- **安全组**：
- 默认配置安全组，仅允许必要协议和端口通信。
- 部署堡垒主机用于入站 SSH 访问，最多支持 4 台堡垒主机。
- **IAM 权限**：实例角色具有细化的 IAM 权限，用于访问部署所需的 AWS 服务。

#### 5. **快速部署步骤**
1. **选择区域**：方案适用于由西云数据运营的亚马逊云科技（宁夏）区域和由光环新网运营的亚马逊云科技（北京）区域。
2. **启动 CloudFormation 堆栈**：
- 通过以下按钮启动：
| 选项 | 部署到新 VPC | 部署到已有 VPC |
|------|--------------|---------------|
| 亚马逊云科技中国 | [Launch Stack](#) | [Launch Stack](#) |
| 亚马逊云科技全球 | [Launch Stack](#) | [Launch Stack](#) |
3. **配置参数**：
- 默认参数用于新 VPC 部署，若有特殊需求可自定义。
- 网络配置为唯一区别，其他参数保持一致。

#### 6. **部署前的准备工作**
- 确保 AWS 账号在目标区域的资源（如 Elastic IP、VPC、EC2 等）未达到上限。
- 若无密钥对，需在 EC2 控制台创建默认的 `.pem` 格式密钥对，并妥善保管。

#### 7. **总结**
本文档提供了一套基于 Amazon CloudFormation 的快速部署方案，帮助用户在亚马逊云科技上快速搭建高可用的 Apache RocketMQ 集群。通过灵活的网络配置和详细的参数说明，用户可以根据实际需求自定义部署方案，同时确保集群的高可用性和安全性。