CurveFS方案设计

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/opencurve

摘要

文档详细介绍了CurveFS方案的设计，包括背景调研、方案对比、架构设计、关键点和开发计划。CurveFS旨在支持云原生场景下的高性能通用文件系统，基于块存储实现，第一阶段目标是满足数据库场景的文件接口需求。文档对比了多种开源文件系统（如ChubaoFS、MooseFS、FastCFS、CephFS），分析了其性能和可行性，并提出了三种元数据设计方案：基于kv的方案、单机内存元数据方案和分布式元数据方案。最终选择了分级元数据设计，采用dentry和inode两层映射关系，支持文件空间管理、快照功能和高可用性。文档还详细讨论了空间分配策略、索引设计和开发计划。

AI总结

### 《CurveFS方案设计》总结

#### 背景与目标
- **背景**：CurveFS旨在支持云原生场景下的高性能通用文件系统，尤其针对云原生数据库的需求。当前Curve基于块存储实现，第一阶段目标是实现满足数据库场景的文件接口。

#### 调研与分析
- **开源文件系统调研**：调研了Chubaofs、Moosefs、Fastcfs、Cephfs等分布式文件系统，重点关注系统架构、元数据内存结构及持久化方式。
- **性能对比**：测试结果显示，Moosefs和Fastcfs的元数据性能优于Chubaofs和Cephfs，原因是分布式元数据设计涉及多次RPC交互。
- **可行性分析**：需明确元数据节点的性能需求。

#### 方案对比与选择
- **三种设计方案**：
1. **CurveFS KV方案**：基于Namespace，功能实现简单，但不利于长期规划。
2. **单机内存元数据方案**：性能高但扩展性受限。
3. **分布式元数据方案**：扩展性、可用性和可靠性较好，但性能稍弱。
- **选择理由**：基于长期规划和通用性需求，选择第二种方案（dentry和inode两层映射结构），支持文件属性和空间管理。

#### 架构设计
- **卷和文件系统**：采用分布式设计，支持文件空间管理。
- **元数据管理**：采用inode和dentry两层映射关系，支持文件属性和空间占用信息。
- **快照方案**：
- **方案一**：文件/目录级别快照，实现复杂。
- **方案二**：文件系统快照，复用现有逻辑，实现简单且满足需求。
- **选择方案二**：改动小，适合当前需求。

#### 关键点
1. **元数据设计**：
- **数据结构**：采用inode和dentry两层结构，支持文件共享。
- **索引设计**：blk list用于记录文件块分配情况。
- **持久化**：元数据以KV方式存储，支持高可用和高性能。
2. **文件空间管理**：基于块设备构建，支持空间分配和回收。
3. **快照逻辑**：复用现有快照逻辑，实现文件系统级别的快照。

#### 开发计划
- **时间安排**：2021年5月-6月，分模块完成元数据节点、空间分配、客户端开发及联调测试。
- **人员分工**：陈威、吴汉卿、许超杰等负责不同模块的开发和对接。

#### 总结
CurveFS的设计目标是支持云原生数据库场景，通过调研和对比选择了分布式元数据方案，重点解决了文件空间管理、元数据设计和快照逻辑等问题。方案具有高可用、高扩展和高性能的特点，计划在2021年完成核心功能开发。