· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1242 12.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · indexes Experimental Experimental Experimental Experimental Columnar storage (TiFlash) Y Y Y Y RocksDB engine Y Y Y Y Titan plugin Y Y Y Y Invisible indexes Y Y Y N Composite PRIMARY KEY Y Y Y Y Unique storage.scheduler-worker-pool-size: 5 raftstore.store-pool-size: 3 raftstore.apply-pool-size: 3 rocksdb.max-background-jobs: 8 raftdb.max-background-jobs: 4 raftdb.allow-concurrent-memtable-write: true

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1333 12.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Experimental Experimental Experimental Experimental Experimental Columnar storage (TiFlash) Y Y Y Y Y RocksDB engine Y Y Y Y Y Titan plugin Y Y Y Y Y Invisible indexes Y Y Y Y N Composite PRIMARY KEY Y Y storage.scheduler-worker-pool-size: 5 raftstore.store-pool-size: 3 raftstore.apply-pool-size: 3 59 rocksdb.max-background-jobs: 8 raftdb.max-background-jobs: 4 raftdb.allow-concurrent-memtable-write: true

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1289 12.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · read and write for TiFlash • TiKV introduces a new flow control mechanism to replace the previous RocksDB write stall mechanism to improve the stability of TiKV flow control • Simplify the operation and previous RocksDB write stall mechanism. Compared with the write stall mechanism, this new mechanism reduces the impact on the stability of foreground write. In specific, when the stress of RocksDB compaction

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 991 12.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 特性，提供更直观方便的方式观察事务加锁情况以及排查死锁问题。 25 • 新增 TiFlash I/O 限流功能，提升 TiFlash 读写稳定性。 • 为 TiKV 引入新的流控机制代替之前的 RocksDB write stall 流控机制，提升 TiKV 流控稳定性。 • 简化 Data Migration (DM) 工具运维，降低运维管理的成本。 • TiCDC 支持 HTTP 协议 OpenAPI TiKV 引入了新的流控机制代替之前的 RocksDB write stall 流控机制。相比于 write stall 机制，新的流控机制 通过以下改进减少了流控对前台写入稳定性的影响： – 当 RocksDB compaction 压力堆积时，通过在 TiKV scheduler 层进行流控而不是在 RocksDB 层进行流控， 避免 RocksDB write stall 造成的 raftstore

coprocessor 执行时间 和业务相关，但通常不会出现持续高位的值 Pending task : 累积的任务数量 除了 pd worker，其他任何偏高都属于异常 stall : RocksDB Stall 时间 大于 0，表明 RocksDB 忙不过来，需要注意 IO 和 CPU 了 channel full : channel 满了，表明线程太忙无法处理 如果大于 0，表明线程已经没法处理了 95% se yml 中的 block-cache-size 参数: rocksdb defaultcf block-cache-size(GB) = MEM 80% / TiKV 实例数量 30% rocksdb writecf block-cache-size(GB) = MEM 80% / TiKV 实例数量 45% rocksdb lockcf block-cache-size(GB) = tikv_log_dir {{ deploy_dir }}/log 日志目录 TiKV tikv_data_dir {{ deploy_dir }}/data 数据目录 TiKV wal_dir “” rocksdb write-ahead 日 志目录，为空时与 TiKV 数 据目录一致 TiKV raftdb_path “” raftdb 目录，为空时为 tikv_data_dir/raft PD pd_log_dir

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 957 12.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Y Y Y Y 2.3.2 索引和约束 索引和约束 5.2 5.1 5.0 4.0 表达式索引 实验特性 实验特性 实验特性 实验特性 列式存储 (TiFlash) Y Y Y Y RocksDB 引擎 Y Y Y Y Titan 插件 Y Y Y Y 不可见索引 Y Y Y N 复合主键 Y Y Y Y 唯一约束 Y Y Y Y 整型主键上的聚簇索引 Y Y Y Y 复合或非整型主键上的聚簇索引 storage.scheduler-worker-pool-size: 5 raftstore.store-pool-size: 3 raftstore.apply-pool-size: 3 rocksdb.max-background-jobs: 8 raftdb.max-background-jobs: 4 raftdb.allow-concurrent-memtable-write: true

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1902 12.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Engine (experimental) Support using Raft Engine as the log storage engine in TiKV. Compared with RocksDB, Raft Engine can reduce TiKV I/O write traffic by up to 40% and CPU usage by 10%, while improving rare cases #11187 – Fix the issue that GC scan causes memory overflow #11410 – Fix the issue that RocksDB flush or compaction causes panic when the disk ca- pacity is full #11224 • PD – Fix the issue that

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3086 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · values exceeding 32 KB from RocksDB’s LSM Tree, and stores them separately in Titan to optimize the handling of large values. The Titan engine is completely compatible with RocksDB features utilized by TiKV Scan scenarios, the Titan engine’s optimization has resulted in performance comparable to that of RocksDB in the default configuration. This configuration change remains compatible with earlier versions

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3297 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · continuous operation of the system #17356 @LykxSassinator • Optimize the compaction trigger mechanism of RocksDB to accelerate disk space reclamation when handling a large number of DELETE versions #17269 @AndreMouche Y Y Y Y Y Y Y Y Y Use FastScan to accelerate queries in OLAP scenarios Y Y Y Y Y Y E N N N N N RocksDB engine Y Y Y Y Y Y Y Y Y Y Y Y Titan plugin Y Y Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E

系统均衡器(Container Balancer) III. 性能优化 - ⽂件系统优化(File System Optimization) IV. 性能优化 - 合并Container RocksDB实例 V. 很多其他的性能和稳定性优化 6 纠删码 数据可靠性 (越⾼越好) 存储效率 (越⾼越好) 1-replica 0 100% 3-replica 2 33% EC RS(6 只迁移CLOSE状态的Container VII.客户端发送命令给SCM，SCM负责 执⾏和控制整个流程 Ozone Manager DN1 Storage Container Manager Client RocksDB RocksDB C3 C4 C5 C6 C2 C1 C1 C2 C3 C4 C5 C6 C1 C2 C3 C4 C5 C6 DN2 DN3 DN4 C2 C4 C6 C5 发送命令 delete(“/catelog_sales”) 18 合并Container RocksDB实例 - 现状和问题 每个Container有独⽴的RocksDB实例保存元数据(V2) 问题 I. ⼤容量磁盘，系统中有上万个Container和RocksDB实例 II. 内存开销⼤，需保留众多RocksDB实例 III. 性能影响，频繁create/open/close实例 IV. 磁盘使⽤量，不可精准预测