## raft在Curve存储中的工程实践 D I G I T A L S A I L 陈威 Curve Maintaner 网易资深服务端开发工程师 01 Curve介绍 项目背景 | Curve架构 | 使用场景 | Curve社区 raft和braft raft协议介绍 | braft介绍 raft在Curve中的应用 raft in Curve块存储 Curve块存储 | raft in curve文件存储 | 配置变更 Curve对raft的优化 优化点1 | 优化点2 05 Q&A 答疑 ## 项目背景 ## Curve是一个高性能、更稳定、易运维的云原生分布式存储系统，支持块存储和文件存储 Curve块存储和文件存储均采用raft协议 ## 2021 ~2022 Curve文件存储 ## 2018 ~2021 Curve块存储 Curve社区 02 raft和braft raft协议介绍 | braft介绍 03 raft在Curve中的应用 raft in Curve块存储 | raft in curve文件存储 | 配置变更 04 Curve对raft的优化 优化点1 | 优化点2 05 Q&A 答疑 ## RAFT协议简介 ## 什么是raft - raft 是一种新型

implementations. The first is based on the etcd library [https://coreos.com/etcd/] of the Raft protocol [https://raft.github.io/raft.pdf]. The other is Kafka [https://kafka.apache.org/] (which uses Zookeeper [https://zookeeper patch release. ## Raft ordering service Introduced in v1.4.1, Raft [https://raft.github.io/raft.pdf] is a crash fault tolerant (CFT) ordering service based on an implementation of Raft protocol in etcd [https://coreos.com/etcd/]. Raft follows a “leader and follower” model, where a leader node is elected (per channel) and its decisions are replicated to the followers. Raft ordering services should be

Tools • What's next? ### TiDB 2.1 ## PD/TiKV (1/2) • Version Control • PreVote ○ PD ○ TiKV • Raft Learner • Hotspot scheduling • Asynchronous log ## PD/TiKV (2/2) • Fix DST issue • Batch Split balance/split hot region • Powerful replica strategy ☐ IDC ☐ Replica count 3/5/7 ## TiKV • Multi-thread Raft store • Multi-thread Apply worker • Consensus Join • The next generation storage engine ☐ Optimize

## Estimation of availability and reliability in CurveBS CurveBS uses the RAFT protocol to maintain consistency of stored data. It generally takes the form of 3 replicas of data. If one replica fails

8e0fd1b2626578fba41c/p22_4.jpg) 测试环境：6台服务器*20块SATA SSD，E5-2660 v4，256G，3副本场景 ## 高性能 • quorum机制：raft • 轻量级快照 • io路径上的优化 • filepool落盘零放大 • 轻量级线性一致性读 • io路径上用户空间零拷贝 10卷4K随机读写IOPS  ## 高可用 chunkserver 使用raft, 2N + 1 个副本允许 N 副本异常  | 高可用 | 自治 | 易运维 | 高质量 04 近期规划 Curve的近期规划 ## 近期规划 ## • 性能优化 • 满足数据库性能要求 大io吞吐优化 • muti raft 性能优化 ## • 开源 系列技术分享 参与开发人员线上议题讨论会 ## 欢迎大家参与CURVE项目！ ![Image](/uploads/documents/0/9/e/3/09e38

的类型推导系统和编译检查跨线程传递和共享的对象是否满足 Send + Sync ## TiKV - 大规模分布式 Key-Value 数据库 支持 ACID 跨行事务支持 支持 MVCC 无锁的快照读 构建于 Raft 之上，不依赖分布式文件系统 ☐ 更少的第三方依赖 ☐ 更高的性能(低延迟) - 配合 TiDB 使用, 需要有健全的逻辑实现 SQL 层的下推算子  ## TiKV 的前置需求 极高的性能要求，尽可能低延迟，而且延迟需要稳定 ● 设计分布式系统的逻辑，极其复杂 ☐ Raft ☐ Multi-Raft ☐ 分布式测试框架 和 C 的模块大量交互 • 开发人员和时间不足 ☐ 5人的团队，希望半年左右发布第一个可用版本 ![Image](/uploads/documents

... 394 7.6.2 TiFlash_schema_apply_duration ..... 394 7.6.3 TiFlash_raft_read_index_duration ..... 395 7.6.4 TiFlash_raft_wait_index_duration ..... 395 7.7 Customize Configurations of Monitoring Execution Plans 669 10 Tutorials 702 10.1 Multiple Data Centers in One City Deployment 702 10.1.1 Raft protocol 702 10.1.2 Three DCs in one city deployment 703 10.2 Three Data Centers in Two Cities step …… 2995 15.4 P …… 2995 15.4.1 pending/down …… 2995 15.5 R …… 2995 15.5.1 Region/peer/Raft group …… 2995 15.5.2 Region split …… 2996 15.5.3 restore …… 2996 15.6 S …… 2996 15.6.1 scheduler

## API 解耦 ● 稳定的底层 API ● 灵活的顶层 API ## 层级账号 ● 树状结构 ● 聚合查询 ## Rust ● 正确性：内存安全，线程安全 ● 可靠性：Raft 共识算法 raft-rs 高性能：关键路径无锁单线程 ## 分布式账务系统 Gateway 副本1 Gateway 副本 2 Gateway 副本 3 路由层：无状态 Gateway 副本 _1.jpg) ## 分布式账务系统 ## 账户层： ## Auticuro 1. 接受转账请求，转换成 events 2. 将 events 送入 Raft 共识，等待 events 被多数节点保存 共识：基于 raft-rs 的可靠消息队列 ☐ 存储：Rocksdb with Rust  ## 分布式账务系统 ## 账户层： ## Auticuro 1. 接受转账请求，转换成 events 2. 将 events 送入 Raft 共识，等待 events 被多数节点保存 3. 处理被共识的 events，更新状态机（账户表） ☐ 去重 & 更新余额 ☐ 关键路径采用无锁单线程 ![Image](/up

元数据持久化 • 前言 • Raft Log • Raft Snapshot - 持久化文件 - key value pairs - 其他说明 实现 • 1、inode、entry 的编码 • 2、KVStore • Q&A • 单靠 redis 的 AOF 机制能否保证数据不丢失? • redis 的高可用、高可扩方案? • redis + muliraft • 参考 • redis 中哈希表实现的优点? ## 前言 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： • Raft Log: 记录 operator log • Raft Snapshot：将内存中的数据结构以特定格式 dump 到文件进行持久化 copyset-2 copyset-1  Raft Log |字段|字节数|说明| |---|---|---| |type|1|操作类型，共有以下2类：• SET (OX01)：ADD和UPDATE都可以转换成SET操作• DEL (OX0

bandwidth becomes a bottleneck in case of Sequential read and Sequential write ## CurveBS Features • RAFT for data consistency • minor impaction when chunk server fails • Precreated chunk file for volume detection and schedule tuning ### Storage Engine Comparison (vs. Ceph) |DATA CONSISTENT PROTOCOL|CURVE (RAFT)|CEPH| |---|---|---| |WRITE SUCCESS|majority write successful|all write successful| |READ|Leader of storages (open cloud storage and on-prem storage) and expose unified file space for app accessing • RAFT for data consistency - POSIX-compatible • Cloud native support APPs CurveFS API Curve Block API