## raft在Curve存储中的工程实践 D I G I T A L S A I L 陈威 Curve Maintaner 网易资深服务端开发工程师 01 Curve介绍 项目背景 | Curve架构 | 使用场景 | Curve社区 raft和braft raft协议介绍 | braft介绍 raft在Curve中的应用 raft in Curve块存储 Curve块存储 | raft in curve文件存储 | 配置变更 Curve对raft的优化 优化点1 | 优化点2 05 Q&A 答疑 ## 项目背景 ## Curve是一个高性能、更稳定、易运维的云原生分布式存储系统，支持块存储和文件存储 Curve块存储和文件存储均采用raft协议 ## 2021 ~2022 Curve文件存储 ## 2018 ~2021 Curve块存储 Curve社区 02 raft和braft raft协议介绍 | braft介绍 03 raft在Curve中的应用 raft in Curve块存储 | raft in curve文件存储 | 配置变更 04 Curve对raft的优化 优化点1 | 优化点2 05 Q&A 答疑 ## RAFT协议简介 ## 什么是raft - raft 是一种新型

## 分布式KV存储Cellar演进之路 ## 美团点评·基础架构 齐泽斌 ## 促进软件开发领域知识与创新的传播  关注InfoQ官方信息 及时获取QCon软件开发者大会演讲视频信息 ![Image](/uploads/doc 咨询热线：010-64738142 ## 个人简介 美团点评基础架构部，存储研发团队负责人 • Cellar：分布式KV存储服务 • Databus：数据库变更实时传输服务 • Venus：图片服务 ## 11 年毕业于天津大学 11 年到 14 年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 ## 目录 - Cellar起源 - 中心节点架构演进 - 样，越存越香。 ## Cellar起源 • 14年初 美团引入阿里Tair作为NoSQL存储 • 14年底 大范围应用，并对Tair修修补补，积累领域问题 • 16年初 基于开源版本研发新一代KV存储系统Cellar • Now Cellar日请求量达万亿级，美团点评最大NoSQL存储 ## Cellar起源—Tair架构 ![Image](/uploads/documents/e/7/

... 881 9.7.2 TiFlash_schema_apply_duration ..... 881 9.7.3 TiFlash_raft_read_index_duration ..... 882 9.7.4 TiFlash_raft_wait_index_duration ..... 882 9.8 自定义监控组件的配置 ..... 882 9.8.1 自定义 Prometheus 1198 11.3.4 控制执行计划 ..... 1302 12 教程 ..... 1352 12.1 单区域多 AZ 部署 TiDB ..... 1352 12.1.1 了解 Raft 协议 ..... 1352 12.1.2 同区域三 AZ 方案 ..... 1353 12.2 双区域多 AZ 部署 TiDB ..... 1358 12.2.1 简介 ..... 1358 2 RocksDB 简介 ..... 2407 14.2.3 Titan 介绍 ..... 2409 14.2.4 Titan 配置 ..... 2417 14.2.5 Partitioned Raft KV ..... 2421 14.3 存储引擎 TiFlash ..... 2423 14.3.1 TiFlash 简介 ..... 2423 14.3.2 构建 TiFlash

TiFlash_schema_error 363 7.6.2 TiFlash_schema_apply_duration 363 7.6.3 TiFlash_raft_read_index_duration 363 7.6.4 TiFlash_raft_wait_index_duration 364 ## 8 Troubleshoot 8.1 TiDB Troubleshooting Map 364 Execution Plans 621 10 Tutorials 652 10.1 Multiple Data Centers in One City Deployment 652 10.1.1 Raft protocol 652 10.1.2 Three DCs in one city deployment 653 10.2 Three Data Centers in Two Cities 2744 15.4 P ..... 2744 15.4.1 pending/down ..... 2744 15.5 R ..... 2744 15.5.1 Region/peer/Raft group ..... 2744 15.5.2 Region split ..... 2745 15.5.3 restore ..... 2745 15.6 S ..... 2745

TiFlash_schema_error ··· 1286 9.7.2 TiFlash_schema_apply_duration ··· 1286 9.7.3 TiFlash_raft_read_index_duration ··· 1286 9.7.4 TiFlash_raft_wait_index_duration ··· 1287 9.8 Customize Configurations of Monitoring Servers 1856 12 Tutorials 1933 12.1 Multiple Availability Zones in One Region Deployment ··· 1933 12.1.1 Raft protocol ··· 1933 12.1.2 Three AZs in one region deployment ··· 1934 12.2 Three Availability Zones Overview ··· 3283 14.2.3 Titan Overview ··· 3286 14.2.4 Titan Configuration ··· 3295 14.2.5 Partitioned Raft KV ··· 3301 14.3 Storage Engine - TiFlash ··· 3303 14.3.1 TiFlash Overview ··· 3303 14.3.2

TiFlash_schema_error ··· 1585 9.7.2 TiFlash_schema_apply_duration ··· 1585 9.7.3 TiFlash_raft_read_index_duration ··· 1585 9.7.4 TiFlash_raft_wait_index_duration ··· 1586 9.8 Customize Configurations of Monitoring Servers 2159 # 12 Tutorials 2236 12.1 Multiple Availability Zones in One Region Deployment ··· 2236 12.1.1 Raft protocol ··· 2236 12.1.2 Three AZs in one region deployment ··· 2237 12.2 Three Availability Zones Overview ··· 3299 14.2.3 Titan Overview ··· 3302 14.2.4 Titan Configuration ··· 3311 14.2.5 Partitioned Raft KV ··· 3317 14.3 Storage Engine - TiFlash ··· 3319 14.3.1 TiFlash Overview ··· 3319 14.3.2

TiFlash_schema_error ··· 1201 9.7.2 TiFlash_schema_apply_duration ··· 1201 9.7.3 TiFlash_raft_read_index_duration ··· 1201 9.7.4 TiFlash_raft_wait_index_duration ··· 1202 9.8 Customize Configurations of Monitoring Servers 1743 # 12 Tutorials 1819 12.1 Multiple Availability Zones in One Region Deployment ··· 1819 12.1.1 Raft protocol ··· 1820 12.1.2 Three AZs in one region deployment ··· 1820 12.2 Three Availability Zones Overview ··· 3253 14.2.3 Titan Overview ··· 3256 14.2.4 Titan Configuration ··· 3265 14.2.5 Partitioned Raft KV ··· 3271 14.3 Storage Engine - TiFlash ··· 3273 14.3.1 TiFlash Overview ··· 3273 14.3.2

... 394 7.6.2 TiFlash_schema_apply_duration ..... 394 7.6.3 TiFlash_raft_read_index_duration ..... 395 7.6.4 TiFlash_raft_wait_index_duration ..... 395 7.7 Customize Configurations of Monitoring Execution Plans 669 10 Tutorials 702 10.1 Multiple Data Centers in One City Deployment 702 10.1.1 Raft protocol 702 10.1.2 Three DCs in one city deployment 703 10.2 Three Data Centers in Two Cities step …… 2995 15.4 P …… 2995 15.4.1 pending/down …… 2995 15.5 R …… 2995 15.5.1 Region/peer/Raft group …… 2995 15.5.2 Region split …… 2996 15.5.3 restore …… 2996 15.6 S …… 2996 15.6.1 scheduler

TiFlash_schema_error 378 7.6.2 TiFlash_schema_apply_duration 378 7.6.3 TiFlash_raft_read_index_duration 378 7.6.4 TiFlash_raft_wait_index_duration 379 8 Troubleshoot 379 8.1 TiDB Troubleshooting Map 642 0 Tutorials ..... 676 10.1 Multiple Data Centers in One City Deployment ..... 676 10.1.1 Raft protocol ..... 676 10.1.2 Three DCs in one city deployment ..... 677 10.2 Three Data Centers in .. 2847 15.4 P ..... 2847 15.4.1 pending/down ..... 2847 15.5 R.....2847 15.5.1 Region/peer/Raft group .....2847 15.5.2 Region split.....2848 15.5.3 restore.....2848 15.6 S.....2848 15.6

· · · · · · · · 1231 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1231 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1733 12.1.1 了解 Raft 协议 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2579 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·