Curve 分布式存储设计

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/opencurve

摘要

文档阐述了Curve分布式存储的设计目标和实现方案。Curve旨在解决代码复杂、运维难度高和性能不足的问题，提供高性能、易运维、云原生的存储解决方案。Curve块存储支持分布式共享存储，整合Polardb for PostgreSQL提供高性能数据库服务；Curve文件存储则支持元数据管理、统一访问协议（S3和POSIX）以及冷热数据分离。性能测试显示，Curve块存储在benchmarkSQL中每分钟事务数提升39%，pgbench延迟降低21%，TPS提升26%。文档还探讨了Curve的架构、性能优化以及支持场景，包括快速跨云弹性发布、低成本大容量需求等。

AI总结

《Curve分布式存储设计》文档内容总结如下：

### 1. **设计背景与目标**
- **Curve的由来**：主流开源存储系统存在代码复杂、运维难度高、性能不足等问题，无法满足高性能需求。
- **设计目标**：
- **Curve云原生软件定义存储**：支持块存储和文件存储。
- **高性能、易运维、云原生**：满足分布式场景的高性能需求，降低运维复杂度。
- **核心需求**：
- **文件存储**：兼顾性能与容量的机器学习场景、快速跨云弹性发布、低成本大容量需求、中间件冷热数据自动分离、S3和POSIX统一访问。
- **块存储**：高性能分布式共享数据库场景，提供底层分布式共享存储。

### 2. **架构与实现**
- **块存储**：
- 架构：虚拟块设备映射到文件，每个文件包含的chunk分散在集群存储节点，ChunkServer按照故障域分组，copyset中的节点属于不同故障域。
- IO流程：ChunkServer负责数据存储，使用RAFT协议保证一致性，Chunkfile Pool降低元数据开销。
- **文件存储**：
- 设计目标：兼顾性能与容量的机器学习场景、快速跨云弹性发布、低成本大容量需求、中间件冷热数据自动分离、S3和POSIX统一访问。
- 功能：支持回收站、生命周期管理、配额、用户权限，支持NFS、CIFS/SMB、HDFS等协议。

### 3. **性能优化**
- **块存储**：
- Performance测试结果：
- BenchmarkSQL每分钟事务数提升39%。
- Pgbench延迟降低21%，TPS提升26%。
- **优化方向**：
- RDMA/SPDK方案优化。
- 大文件读写性能优化，RAFT优化，降低写放大。

### 4. **功能与应用场景**
- **功能**：
- 支持混合盘、分布式缓存、冷热数据分层存储。
- 支持HDFS、Rados等存储引擎。
- **应用场景**：
- 分布式块存储服务。
- KVM块存储服务。
- iSCSI协议。
- 容器云块存储（CSI）。
- 上层高性能数据库服务（如Polardb for PostgreSQL）。

### 5. **Roadmap**
- **架构**：完善分布式缓存、混合云部署、混合盘支持。
- **性能**：优化RDMA/SPDK方案，硬件选型与性能调优。
- **功能**：支持回收站、生命周期管理、配额、用户权限等。

### 总结
Curve分布式存储系统针对传统存储系统的局限性，设计了高性能、易运维、云原生的块存储和文件存储解决方案，满足分布式场景下的高性能需求，同时支持多种协议和应用场景。系统通过合理的架构设计和优化策略，在性能、容量和扩展性方面实现了显著提升。