Curve支持S3 数据缓存方案

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/opencurve

摘要

文档介绍了Curve支持S3数据缓存方案的设计与实现，旨在解决基于S3的daemon版本性能差的问题。通过引入缓存模块，优化了读写场景下的数据操作。设计包括读写缓存分离、两层元数据索引、缓存层级结构以及后台刷数据线程。详细描述了Write、Read、ReleaseCache、Flush和FsSync等流程，并通过POC测试验证了方案的有效性。该方案针对顺序读写和小IO性能进行了优化。

AI总结

以下是对文档内容的总结：

---

### 背景
基于S3的daemon版本在性能测试中表现较差，主要原因包括：
1. `Append`接口频繁操作S3，导致性能下降。
2. 对于4KB的小IO，每次都需要与S3交互，进一步降低了性能。
为此，设计了一个Cache模块来解决这些问题。

---

### 整体设计
1. **设计目标**
- 写场景：将数据尽可能合并后刷至S3。
- 读场景：预读一个块大小，减少对S3的顺序读访问频率。
- 适用场景：主要针对顺序读写，随机读写也有一定性能提升，但效果有限。

2. **元数据设计**
- 使用两级索引：`Inode`中的`map`用于存储对象存储位置信息，缩小检索范围。

3. **对象名设计**
- 对象名格式：`chunkId + blockIndex + compaction + inodeId`。
- `inodeId`不可重复，便于后续反查。

4. **读写缓存分离**
- 写缓存：Flush后释放。
- 读缓存：采用LRU策略，支持小IO的块级别预读。

5. **缓存层级**
- 分为四层：`fs -> file -> chunk -> datacache`，通过`inodeId`、索引和偏移量定位数据。

6. **对外接口**
- 关键接口：`write`、`read`、`releaseCache`、`flush`、`fsSync`。
- 无需提供`truncate`接口，由客户端直接修改`inode`长度，由元数据服务器清理无效数据。

---

### 关键数据结构与详细设计
1. **关键数据结构**
- `S3ChunkInfo`：记录块信息，包括`chunkId`、`compaction`、`offset`、`len`、`size`。
- `Inode`：包含文件元数据，`s3ChunkInfoMap`用于存储对象位置信息。
- `ClientS3Adaptor`：管理文件缓存，与S3客户端交互。
- `FileCacheManager`：管理文件缓存，支持读写操作。
- `ChunkCacheManager`：管理块级缓存，支持数据合并与刷盘。
- `DataCache`：存储块数据，支持写入与刷盘。

2. **流程设计**
- **Write流程**
1. 加锁并找到`FileCacheManager`。
2. 将请求拆分成多个块级写操作。
3. 找到或创建可写的`DataCache`，将数据合并后写入。
- **Read流程**
1. 根据偏移量计算块索引和位置。
2. 拆分请求并查找可读的`DataCache`。
3. 对于无缓存部分，生成S3请求并异步读取数据。
- **ReleaseCache流程**
1. 异步释放缓存，确保文件未被打开。
2. 层层释放缓存资源。
- **Flush流程**
1. 找到`FileCacheManager`，执行刷盘操作。
2. 将缓存数据刷至S3，并更新元数据。
- **FsSync流程**
1. 循环获取`FileCacheManager`并执行`Flush`。

3. **后台刷数据线程**
- 定时将写缓存刷至S3，并更新元数据。

---

### 测试验证
- 提供了POC测试验证，但未具体说明测试结果。

---

### 总结
该方案通过Cache模块解决了S3性能问题，重点包括：
1. 读写缓存分离，优化小IO和顺序读写性能。
2. 两级索引元数据设计，提升数据定位效率。
3. 后台刷盘机制，确保数据一致性与可靠性。
4. 缓存层级设计，减少对S3的交互频率。

该方案适用于需要优化S3存储性能的场景，尤其是在顺序读写为主的情况下。