Curve核心组件之ChunkServer DI 查日苏 网易数帆存储团队 ## CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 - 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 - 当前实现了高性能块存储，对接 openstack 和 k8s 网易内部线上无故障稳定运行500+天 • 已开源 - gi 01 CURVE基本架构 Curve各个组成部分以及相互之间的关系 ChunkServer架构 ChunkServer各模块简介 ChunkServer核心模块 详细介绍ChunkServer的三个核心模块 04 新版本ChunkServer性能优化 介绍新版本ChunkServer性能优化的思路和结果 ## CURVE基本架构 ## • 元数据节点 MDS MDS • 管理和存储元数据信息 • 感知集群状态，合理调度 ## • 数据节点 Chunkserver • 数据存储 • 副本一致性，raft ## • 客户端 Client • 对元数据增删改查 • 对数据增删改查 ## - 快照克隆服务器 ![Image](/uploads/documents/3/2/b/4/32b42961304d48bdf42a254fa15bd989/p4_3

metadata information and persists the data in ETCD ☑ Collect cluster status and schedule. ### 2. Chunkserver ● Responsible for data storage ● Multi-replicas consistency ### 3. The client ● Provides read applications ● Interacts with MDS to add, delete, modify, and query metadata ● Interacts with the chunkServer to read and write data ### 4. Snapshotcloneserver ● Independent of core services ● Snapshot can be configured 3. Each file (/foo/bar) contains chunks scattered all over the storage nodes. ChunkServer provides 4KB random read/write capability to support 4KB aligned read/write on block devices. #

CurveBS Architecture • CurveBS Topology • CurveBS Data Organization • MetaData Server (MDS) • ChunkServer • Client • CurveBS IO processing flow • CurveBS Performance considerations • Cloud Native ## Topology NameServer MDS Slave1 Etcd Cluster (RAFT consensus) Metadata store MDS Master select ## ChunkServer Clients MDS Peers BRPC RAFT Service RAFT Service RAFT Service ..... CopySet..... CopySet

支持RDMA和SPDK ## Curve块存储架构 • client：接受用户请求。 • mds：保存元数据，包括topo信息、块设备信息、数据分布信息等，持久化到etcd中。 - chunkserver：采用raft协议3副本的方式保存块设备上的数据。 - snapshotCloneServer：卷的快照克隆服务，持久化到S3中。 ![Image](/uploads/documents chunk in 3 chunkserver ## raft复制组 每个raft实例用一个copyset管理，copyset是个逻辑概念。写入chunk的数据，由copyset对应的raft完成3副本的写入。 • multi-raft: copyset和chunkserver是多对多的关系 • 每个copyset由3个chunkserver组成 • 每个chunkserver可以服务多个copyset 请求处理流程 ## 以写请求为例： 1. Client 发送写请求给 Leader ChunkServer。 2. ChunkServer 收到请求，将请求封装成一个 log entry，提交给 raft。 3. raft模块在本地持久化 entry 的同时发送 entry 给其他副本（ChunkServer）。 4. 本地持久化 log entry 成功，且另一个副本也写入 log entry

介绍新版本Client/热升级性能优化的思路和结果 ## CURVE基本架构 ## • 元数据节点 MDS • 管理和存储元数据信息 • 感知集群状态，合理调度 ## • 数据节点 Chunkserver • 数据存储 • 副本一致性，raft ## • 客户端 Client • 对元数据增删改查 • 对数据增删改查 ## - 快照克隆服务器 的leader ● MDSClient：负责与MDS交互，挂卸载卷、获取元数据信息 ## CLIENT上层应用 元数据获取及缓存 ● 逻辑chunk与物理chunk映射关系 ● 物理chunk所属的复制组(copyset) ● 复制组所在的chunkserver列表 ● 复制组的leader信息 ● Failover支持 ● MDS：只有主MDS才会监听端口 ● ChunkServer：通过raft维护复制组内的主-从关系 ## CLIENT IO流程 用户下发一个写请求 off: 8M len: 16M

整体架构 02 MDS各组件详细介绍 03 Q&A ## 基本架构 ## • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 - 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 快照克隆服务器 ，chunkserver以一块磁盘作为最小的服务单元。 ## TOPOLOGY curve在上物理pool之上又引入逻辑pool的概念，以实现统

machine resources Zone is the basic unit of fault isolation Server Indicates a physical server Chunkserver is a service instance on a physical server CurveBS Cluster ![Image](/uploads/documents/0/8/a Server ChunkServer ChunkServer ChunkServer disk Physical Pool Server ChunkServer ChunkServer ChunkServer disk zone Server ChunkServer ChunkServer ChunkServer disk ChunkServer ChunkServer ChunkServer ChunkServer disk Server ChunkServer ChunkServer ChunkServer disk Server ChunkServer ChunkServer ChunkServer disk ## OID + CND ## Curve metadata organization Curve maps virtual block

- 审批记录 - 系统介绍 - 相关调研 - 架构 - 重要流程 - 关键算法 - 接口 - 数据库设计 - 非功能特性设计 - 参考文献 ## chunkserver 内存增长解决方案 - 修改记录 - 背景介绍 - 问题描述 - 原因阐释 - 内存增长问题： - bthread worker 方案设计 - 方案预期 - 解决思路 - 解决方案 - 方案一：限制 max_body_size 和 raft_max_size； - 方案二：chunkserver 慢启动 - 方案三：限制内存大小，超过大小返回 EI； - 方案四：限制内存大小，超过大小不保留； - 方案对比 - 方案细化 - 启动流程 ♦chunkserver_healthy_checker.cpp92.4 %73 / 79100.0 %9 / 986.1 %31 / 36chunkserver_healthy_checker.h89

介绍快照的具体原理和实现，包括快照的流程，数据组织，以及chunkserver端的实现等 05 克隆的实现 介绍克隆的具体原理和实现，包括克隆的流程，Lazy克隆，数据组织和chunkserver端的实现。 ## CURVE基本架构 ## • 元数据节点 MDS • 管理和存储元数据信息 • 感知集群状态，合理调度 ## • 数据节点 Chunkserver • 数据存储 • 副本一致性，raft ，通过调用etcdclient，与etcd存储交互，存取etcd中的快照和克隆元数据。 ## CurveClient: • CurveClient封装了Client接口，负责与MDS和ChunkServer交互。 ## SnapshotRef & CloneRef: · 负责管理快照和克隆源卷的引用计数。 Http Service SnapshotService 

收集集群状态信息，自动调度 - 数据节点 Chunkserver 数据存储 数据一致性  ## 基本架构 ## • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 - 数据节点 Chunkserver 数据存储 副本一致性 [Image](/uploads/documents/0/9/e/3/09e38610ff888e0fd1b2626578fba41c/p18_2.jpg) ## 拓扑 • 管理和组织机器 • 软件单元：chunkserver • 物理机：server • 故障域：zone • 物理池：pool ![Image](/uploads/documents/0/9/e/3/09e38610ff888e0fd1b2626578fba41c/p19_2 向 mds 查询请求的元数据，并缓存到本地，请求转换为对 chunk 的请求 3. Client 向 chunkserver 查询 chunk 所在的 copyset 的 leader Chunkserver 节点； 4. Client 向 leader 发送读写请求, Chunkserver 完成后通知client; 5. Client通知用户请求完成。 ![Image](/upload