## Curve integrate to Cloud Native ## Curve intro - Curve is an distributed storage system • High performance • Easiser operation • Cloud native • Curve is composed of two parts • Curve Block Storage storage • Curve File System (CurveFS) • CurveFS: a high performance cloud native file system (Based on CurveBS / S3 compatible Storage) ## Operator capability Level |OPERATOR CAPABILITY LEVEL|CURVE|COMMENT| uninstall/ upgrade and configure CurveBS/CurveFS through helm chart • upgrade automation • Supporting Curve Cluster provisioning in helm chart • metadata backup and recovery • MDS / ChunkServer should respect

## Curve ## Curve High performance Cloud native Distributed storage system https://www.opencurve.io/ ## Agenda • What is Curve • Use Cases • CurveBS • Key Features • Comparing to Ceph • CurveFS Roadmap ## What is Curve - Curve is an distributed storage system • Components - Curve Block Storage (CurveBS) - CurveBS: a high performance cloud native distributed block storage • Curve File System (CurveFS) file system - kubernetes Host / VM ↓ CSI / Storage Class NBD Curve Block API SSD three copies CurveBS HDD / HDD EC Curve Block API APPs ![Image](/uploads/documents/2/7/b/f/27bfb5b5c

新一代分布式存储系统 Curve 小翠 网易数帆存储团队 ## 概述 ## Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 - 当前实现了高性能块存储，对接OpenStack和K8s 网易内部线上无故障稳定运行一年多，线上异常演练 • 已开源 github主页：https://opencurve .github.io/ - github代码仓库：https://github.com/opencurve/curve Tags v1.1.0-beta ... on 24 Sep - 5d648c9 zip tar.gz Notes Downloads v1.0.0-rc0 on 31 Aug -b1b7845 zip tar.gz Downloads v1.0.0-beta Digital Digital Digital 01 背景 为何从0到1开发Curve 02 总体设计 基本架构 | 数据组织形式 | 拓扑 | IO流程 03 系统特性 高性能 | 高可用 | 自治 | 易运维 | 高质量 04 近期规划 Curve的近期规划 ## 背景 • 多个存储软件：SDFS、NEFS、NBS • 已有的开源软件：Ceph

## Curve High performance Cloud native Distributed storage system https://www.opencurve.io/ ## Agenda • CurveBS Architecture • CurveBS Topology • CurveBS Data Organization • MetaData Server (MDS) Application POD PVC Application POD PVC Application POD PVC PVC PV PV PV PV Curve Operator Curve CSI/Driver Curve Discover ![Image](/uploads/documents/3/6/d/1/36d12a333823f1a2a29fcb2a7fbb256d/p12_1 CRDs in public cloud and on-premises environments • Use the Curve operator to install, upgrade, backup, and expand CurveBS clusters • Use Curve Discover to discover resource changes and to collect the system’s

## Curve核心组件 - SnapShotCloneServer D I G I T A L S A I L 许超杰 网易数帆存储团队 01 CURVE基本架构 Curve各个组成部分以及相互之间的关系 02 快照和克隆的特点 介绍curve的快照和克隆的定义以及特点 03 快照克隆服务器架构 介绍快照克隆服务器的架构和各模块实现的功能 数据组织，以及chunkserver端的实现等 05 克隆的实现 介绍克隆的具体原理和实现，包括克隆的流程，Lazy克隆，数据组织和chunkserver端的实现。 ## CURVE基本架构 ## • 元数据节点 MDS • 管理和存储元数据信息 • 感知集群状态，合理调度 ## • 数据节点 Chunkserver • 数据存储 • 副本一致性，raft ## etcd，开始执行快照任务。 • 2. 在curve中创建内部快照，并返回快照信息，然后将快照信息更新到etcd。此时，即返回用户快照成功，可以进行读写。 • 3. 向mds查询快照的元数据，转储快照元数据块metaObject。 • 4. 根据快照元数据信息，转储快照数据块 dataObject。 • 5. 调用 mds 接口，移除 curve 内部的快照。 • 6.mds调用chunkserver接口，删除内部快照数据

Curve核心组件之ChunkServer DI 查日苏 网易数帆存储团队 ## CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 - 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 - 当前实现了高性能块存储，对接 openstack 和 k8s 网易内部线上无故障稳定运行500+天 • 已开源 - gi com/opencurve/curve 01 CURVE基本架构 Curve各个组成部分以及相互之间的关系 ChunkServer架构 ChunkServer各模块简介 ChunkServer核心模块 详细介绍ChunkServer的三个核心模块 04 新版本ChunkServer性能优化 介绍新版本ChunkServer性能优化的思路和结果 ## CURVE基本架构 ## 01 CURVE基本架构 Curve各个组成部分以及相互之间的关系 ChunkServer架构 ChunkServer各模块简介 ChunkServer核心模块 详细介绍ChunkServer的三个核心模块 新版本ChunkServer性能优化 介绍新版本ChunkServer性能优化的思路和结果 ## ChunkServer架构 Curve Chu

Curve元数据节点高可用 • 1. 需求 • 2. 技术选型 • 3. etcd clientv3的concurrency介绍 • 3.1 etcd clientV3的concurrency模块构成 • 3.2 Campaign的流程 • 3.2.1 代码流程说明 • 3.2.2 举例说明Campagin流程 • 3.3 Observe的流程 4. MDS使用election模块的功能进行选主 MDS使用election模块的功能进行选主 • 4.1 Curve中MDS的选举过程 • 4.2 图示说明选举流程 4.2.1 正常流程 4.2.2 异常情况1：MDS1退出，可以正常处理 4.2.3 异常情况2：Etcd集群的leader发生重新选举，MDS1未受影响，可以正常处理 4.2.4 异常情况3：Etcd的leader发生重新选举，MDS1受到影响退出，不一定可以正常处理。 ents/1/2/a/3/12a32722ce1faabf558ddcb415686d1c/p15_1.jpg) ### 4. MDS使用election模块的功能进行选主 ### 4.1 Curve 中 MDS 的选举过程 如果对代码部分不感兴趣，请跳到 4.2 图示说明选举流程 MDS使用election模块选有以下三个步骤： 1. 调用Campaign进行选举 2. 如果选举成功，

## Curve 分布式存储设计 程义 — Curve Maintainer   ## 第一 Curve的由来 ## Agenda  ## 第二 Curve的设计目标  第四 Curve社区 ## Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求 ## Curve的设计目标 1. Curve云原生软件定义存储

Curve文件系统空间分配方案（基于块的方案，已实现） - 背景 - 本地文件系统空间分配相关特性 - 局部性 - 延迟分配/Allocate-on-flush - Inline file/data - 空间分配 - 整体设计 - 空间分配流程 - 特殊情况 - 空间回收 - 小文件处理 - 并发问题 - 文件系统扩容 - 接口设计 性，另一方面可以降低磁盘碎片。 Inline file/data 几百字节的小文件不单独分配磁盘空间，直接把数据存放到文件的元数据中。 针对上述的本地文件系统特性，Curve文件系统分配需要着重考虑局部性。 虽然Curve是一个分布式文件系统，但是单个文件系统的容量可能会比较大，如果在空间分配时，不考虑局部性，inode中记录的extent数量很多，导致文件系统元数据量很大。 假如文件系统

Curve文件系统元数据管理（已实现） Inode 1、设计一个分布式文件系统需要考虑的点： • 2、其他文件系统的调研总结 • 3、各内存结构体 • 4、curve文件系统的元数据内存组织 • 4.1 inode定义： • 4.2 dentry的定义： • 4.3 内存组织 5元数据分片 • 5.1 分片方式一：inode和dentry都按照parentid分片 5.1 hardlink: 生成一个hardlink /B/E，指向文件/A/C • 6、curve文件系统的多文件系统的设计 ## 1、 设计一个分布式文件系统需要考虑的点： 1. 文件系统的元数据是否全缓存？ 2. 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ 3. inode+dentry方式？当前curve块存储的kv方式？ 4. 是否有单独的元数据管理服务器？ ## 2、 其他文件系统的调研总结 hash扩展时大量迁移|client缓存inode→ has table (gfid)dentry→ has table (name)|inode扩展属性字段|和写数据一样|好|||写多份|overwrite 有数据不一致风险| |curve|有元数据服务器|lru cache缓存kv → has table (key parent inode + name)|segmentkv → has table (key inode + offset)|etcd|差|块设备