CurveFS对接S3方案设计

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/opencurve

摘要

该文档详细介绍了CurveFS对接S3的方案设计，主要包括整体架构、关键流程和数据结构。CurveFS通过S3ClientAdaptor模块將文件数据拆分为chunk和block，并存储为S3对象。写流程中，文件按chunk Fixed Size（如64M/1G）拆分，每个chunk划分为多个block，每个block最大4M，对应S3上的一个对象。元数据存储在inode中，采用S3ChunkInfo记录。读流程中，需对S3ChunkInfo进行优化，处理overlap的情况。系统通过版本控制区分新老数据，确保数据完整性。整个方案旨在实现CurveFS与S3的无缝对接，为用户提供高效的文件存储服务。

AI总结

《CurveFS对接S3方案设计》文档总结如下：

---

### 文档概述
本文档主要设计了CurveFS对接Amazon S3的方案，涵盖整体架构、关键模块、接口、数据结构以及关键流程。目标在于通过 CurveFS 的客户端与 S3 对接，实现数据的存储与读取。

---

### 整体思路
1. **核心目标**：
CurveFS 对接 S3 的主要区别在于数据持久化和空间分配，元数据操作尽量保持统一。
- 文件数据按 `chunk` 和 `block` 拆分存储到 S3。
- `chunk` 大小为 64M 或 1G（待定），内部划分为多个 `block`，每个 `block` 最大 4M。
- S3 对象通过 `chunkid_index_block_version` 进行命名，元数据存储在 `inode` 中。

2. **写入场景**：
- **顺序写**：按固定块写入，例如 `0~4M` 写入 `chunkid_0_0`，覆盖写时版本号递增。
- **追加写**：若写入可追加，直接追加到现有对象中。
- **覆盖写**：新数据写入新版本对象，旧数据保留，元数据记录所有版本。

3. **读取场景**：
- 读取前需优化元数据，处理重复或覆盖的 `chunk`，确保读取的数据无重叠。
- 将 `chunk` 按 `offset` 排序，逐个读取并整合结果。

---

### 整体架构
1. **模块划分**：
- **S3ClientAdaptor**：负责将文件数据拆分为 `chunk` 和 `block`，并进行 S3 的读写操作。
- **S3-allocator**：负责分配 S3 对象的唯一标识。

2. **关键流程**：
- **初始化**：加载配置信息，初始化 S3 客户端。
- **写流程**：
1. 若带 `append` 标志，追加写到现有对象中。
2. 更新 `inode` 中的 S3 元数据，版本号递增处理覆盖写。
- **读流程**：
1. 优化 `S3ChunkInfo`，处理重复或覆盖的数据。
2. 按 `offset` 排序 `chunk`，逐个读取并整合结果。
- **删除与回收**：直接删除对应的 S3 对象，无需释放空间。

---

### 接口与关键数据结构
1. **protobuf 定义**：
- `FSType`：区分存储类型（`TYPE_VOLUME` 或 `TYPE_S3`）。
- `S3Info`：包含 S3 访问信息，如 `AK`、`SK`、`endpoint`、`bucketname` 等。
- `FsInfo`：包含文件系统信息，如 `FSType`、`blockSize`、`chunkSize` 等。

2. **Client 端数据结构**：
- `S3ClientAdaptor`：负责 S3 的读写操作，维护 `blockSize` 和 `chunkSize`。
- `S3Client`：封装 S3 的 `Upload`、`Append`、`Download` 接口，基于 AWS SDK 实现。

---

### 关键点总结
1. **核心模块**：
- `S3ClientAdaptor` 和 `S3-allocator` 是对接的关键模块。

2. **数据组织**：
- 文件数据按 `chunk` 和 `block` 存储到 S3，元数据存储在 `inode` 中。

3. **版本控制**：
- 覆盖写时，版本号递增，旧数据保留，后台处理回收。

4. **优化与整合**：
- 读取时需对 `S3ChunkInfo` 进行优化，处理重复或覆盖的数据。

5. **空间管理**：
- S3 无需释放空间，直接删除对应的对象即可。

---

以上为文档的核心内容和关键点总结，语言简洁明了，便于快速理解设计方案。