Curve支持S3 数据缓存方案

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/opencurve

摘要

文档介绍了Curve支持S3数据缓存方案的设计与实现，针对基于S3的daemon版本性能差的问题，提出了通过缓存模块优化写入和读取流程。该方案采用分层缓存设计，包括文件系统、文件、块和数据缓存四层，通过减少对S3的频繁交互来提升性能。详细设计了元数据结构、对象命名规则、读写缓存分离策略以及Write、Read、Flush等流程，旨在解决小IO和顺序操作的性能瓶颈。

AI总结

## 《Curve支持S3 数据缓存方案》总结

### 背景
- **问题**：基于S3的Curve版本在性能测试中表现极差，特别是小IO（如4K）场景下，每次操作都需要与S3交互，导致性能严重下降。
- **原因分析**：
1. Append接口采用先从S3获取对象、内存合并后再写回的方式，导致过多的S3操作。
2. 小IO场景下，每次操作都直接与S3交互，性能差。

### 整体设计
- **目标**：通过缓存模块解决上述性能问题，主要针对顺序写和顺序读场景，对随机读写也有一定优化效果。
- **设计思路**：
1. 写场景下尽可能合并数据后批量写入S3。
2. 读场景下预读一个块大小，减少对S3的访问频次。

### 核心设计
1. **元数据采用2层索引**：
- 使用`chunkId`和`blockindex`等信息快速定位数据位置，减少遍历范围。

2. **对象名设计**：
- 采用`chunkId + blockindex + compaction + inodeId`格式，确保`inodeId`唯一性，便于后续反查。

3. **读写缓存分离**：
- 写缓存：写入后直接刷到S3并释放缓存。
- 读缓存：采用可配置的淘汰策略（默认LRU），支持小IO的预读。

4. **缓存层级**：
- 共4层：`fs -> file -> chunk -> datacache`，通过`inodeId`和`index`逐步定位数据。

5. **关键接口**：
- `write`、`read`、`releaseCache`、`flush`、`fssync`，具体流程在后续章节详细描述。

### 后台刷数据线程
- 启动后台线程定时将写缓存刷到S3，并更新`inode`缓存中的S3信息。

### 本地磁盘缓存
- 若配置`writeBack dev`，数据会先写入本地磁盘，再由`diskStorage`模块决定是否写入S3。

### 关键数据结构
1. **S3ChunkInfo**：
- 包含`chunkId`、`compaction`、`offset`、`len`、`size`等信息。
2. **Inode**：
- 包含文件元数据信息，如`inodeId`、`fsId`、`length`、`s3ChunkInfoMap`等。
3. **缓存管理类**：
- `ClientS3Adaptor`：负责S3客户端适配。
- `FileCacheManager`：管理文件级缓存。
- `ChunkCacheManager`：管理块级缓存。
- `DataCache`：管理数据缓存。

### 详细设计
1. **Write流程**：
- 根据偏移计算`chunkIndex`和`chunkPos`，拆分请求并写入多个`Chunk`。
- 若存在可写`DataCache`，直接合并数据；否则新建`DataCache`。

2. **Read流程**：
- 根据偏移计算`chunkIndex`和`chunkPos`，拆分请求并读取多个`Chunk`。
- 优先使用缓存数据，若无缓存则生成请求从S3读取。

3. **Flush流程**：
- 将缓存数据刷到S3并更新元数据，若失败则回滚缓存。

4. **FsSync流程**：
- 循环获取`FileCacheManager`并执行`Flush`操作。

### 总结
- **核心目标**：通过缓存机制优化Curve在S3上的性能，解决小IO和顺序IO场景下的性能瓶颈。
- **关键点**：
- 读写缓存分离设计。
- 多级缓存架构。
- 后台刷数据线程。
- 预读机制减少S3访问。
- **适用场景**：主要优化顺序写和顺序读场景，对随机操作有一定提升效果。