CurveFS S3本地缓存盘方案

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/opencurve

摘要

文档介绍了CurveFS S3本地缓存盘方案，旨在提升写入性能。该方案通过将数据先写入本地缓存硬盘，再异步上传到远端对象存储来实现。方案涉及本地硬盘的管理、写缓存和读缓存的利用、缓存盘空间的管理、异步上传机制及异常处理。当缓存目录容量达到阈值时，停止本地写入并执行清理工作。POC验证显示，写入10万个4KB文件耗时约5秒，验证了方案的可行性。

AI总结

《CurveFS S3本地缓存盘方案》总结

背景与目的
当前，S3客户端直接写入远端对象存储，但由于远端写入时延较高，为了提升性能，引入本地缓存盘方案。该方案通过先将数据写入本地硬盘缓存，再异步上传到远端对象存储，减少写入时延。

方案设计
1. **写入流程**：
- S3模块接收写入请求后，先写入内存缓存页。
- 如果未配置本地硬盘作为写缓存，直接持久化到远端对象存储。
- 如果配置了本地硬盘作为写缓存，先判断缓存目录容量：
- 如果达到阈值，直接写入远端对象存储；
- 如果未达到阈值，写入本地硬盘缓存目录。

2. **缓存管理**：
- 本地硬盘缓存目录以文件形式存储，借用Linux本地文件系统进行管理。
- 写缓存文件上传成功后删除，读缓存通过硬链接保留。
- 定期检查缓存目录容量，达到阈值时清理文件。

3. **异步上传**：
- 使用工作队列管理待上传文件名，工作线程负责上传并删除本地文件。
- 上传过程做好队列互斥管理，确保线程安全。

4. **异常管理**：
- 客户端重启时，遍历写缓存目录，上传残留文件到远端对象存储，避免数据丢失。

主要数据结构
- **DiskCacheManagerImpl**：负责本地缓存管理，包括初始化、写入、读取、空间检查等功能。
- **DiskCacheRead**：用于读缓存管理，通过硬链接与写缓存文件关联。

POC验证
- 测试写入10万个4KB文件，耗时约5秒，验证了本地缓存盘方案的性能提升效果。