· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 991 12.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 特性，提供更直观方便的方式观察事务加锁情况以及排查死锁问题。 25 • 新增 TiFlash I/O 限流功能，提升 TiFlash 读写稳定性。 • 为 TiKV 引入新的流控机制代替之前的 RocksDB write stall 流控机制，提升 TiKV 流控稳定性。 • 简化 Data Migration (DM) 工具运维，降低运维管理的成本。 • TiCDC 支持 HTTP 协议 OpenAPI TiKV 引入了新的流控机制代替之前的 RocksDB write stall 流控机制。相比于 write stall 机制，新的流控机制 通过以下改进减少了流控对前台写入稳定性的影响： – 当 RocksDB compaction 压力堆积时，通过在 TiKV scheduler 层进行流控而不是在 RocksDB 层进行流控， 避免 RocksDB write stall 造成的 raftstore

coprocessor 执行时间 和业务相关，但通常不会出现持续高位的值 Pending task : 累积的任务数量 除了 pd worker，其他任何偏高都属于异常 stall : RocksDB Stall 时间 大于 0，表明 RocksDB 忙不过来，需要注意 IO 和 CPU 了 channel full : channel 满了，表明线程太忙无法处理 如果大于 0，表明线程已经没法处理了 95% se yml 中的 block-cache-size 参数: rocksdb defaultcf block-cache-size(GB) = MEM 80% / TiKV 实例数量 30% rocksdb writecf block-cache-size(GB) = MEM 80% / TiKV 实例数量 45% rocksdb lockcf block-cache-size(GB) = tikv_log_dir {{ deploy_dir }}/log 日志目录 TiKV tikv_data_dir {{ deploy_dir }}/data 数据目录 TiKV wal_dir “” rocksdb write-ahead 日 志目录，为空时与 TiKV 数 据目录一致 TiKV raftdb_path “” raftdb 目录，为空时为 tikv_data_dir/raft PD pd_log_dir

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 957 12.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Y Y Y Y 2.3.2 索引和约束 索引和约束 5.2 5.1 5.0 4.0 表达式索引 实验特性 实验特性 实验特性 实验特性 列式存储 (TiFlash) Y Y Y Y RocksDB 引擎 Y Y Y Y Titan 插件 Y Y Y Y 不可见索引 Y Y Y N 复合主键 Y Y Y Y 唯一约束 Y Y Y Y 整型主键上的聚簇索引 Y Y Y Y 复合或非整型主键上的聚簇索引 storage.scheduler-worker-pool-size: 5 raftstore.store-pool-size: 3 raftstore.apply-pool-size: 3 rocksdb.max-background-jobs: 8 raftdb.max-background-jobs: 4 raftdb.allow-concurrent-memtable-write: true

系统均衡器(Container Balancer) III. 性能优化 - ⽂件系统优化(File System Optimization) IV. 性能优化 - 合并Container RocksDB实例 V. 很多其他的性能和稳定性优化 6 纠删码 数据可靠性 (越⾼越好) 存储效率 (越⾼越好) 1-replica 0 100% 3-replica 2 33% EC RS(6 只迁移CLOSE状态的Container VII.客户端发送命令给SCM，SCM负责 执⾏和控制整个流程 Ozone Manager DN1 Storage Container Manager Client RocksDB RocksDB C3 C4 C5 C6 C2 C1 C1 C2 C3 C4 C5 C6 C1 C2 C3 C4 C5 C6 DN2 DN3 DN4 C2 C4 C6 C5 发送命令 delete(“/catelog_sales”) 18 合并Container RocksDB实例 - 现状和问题 每个Container有独⽴的RocksDB实例保存元数据(V2) 问题 I. ⼤容量磁盘，系统中有上万个Container和RocksDB实例 II. 内存开销⼤，需保留众多RocksDB实例 III. 性能影响，频繁create/open/close实例 IV. 磁盘使⽤量，不可精准预测

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1026 12.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3.2 索引和约束 索引和约束 5.3 5.2 5.1 5.0 4.0 表达式索引 实验特性 实验特性 实验特性 实验特性 实验特性 列式存储 (TiFlash) Y Y Y Y Y RocksDB 引擎 Y Y Y Y Y Titan 插件 Y Y Y Y Y 不可见索引 Y Y Y Y N 复合主键 Y Y Y Y Y 唯一约束 Y Y Y Y Y 整型主键上的聚簇索引 Y Y storage.scheduler-worker-pool-size: 5 raftstore.store-pool-size: 3 raftstore.apply-pool-size: 3 rocksdb.max-background-jobs: 8 raftdb.max-background-jobs: 4 raftdb.allow-concurrent-memtable-write: true

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1449 12.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 之前无此项特性的版本默认关闭），由用户决 定是否开启。 用户文档 • 新增 Raft Engine（实验特性） 支持使用 Raft Engine 作为 TiKV 的日志存储引擎。与使用 RocksDB 相比，Raft Engine 可以减少至多 40% 的 TiKV I/O 写流量和 10% 的 CPU 使用，同时在特定负载下提升 5% 左右前台吞吐，减少 20% 尾延迟。此外，Raft #11000 – 支持动态调整 Apply 和 Store 线程池大小 #11159 – 支持配置 snap-generator 线程池大小 #11247 – 优化在文件数较多且读写频繁的场景下 RocksDB 的全局锁争用问题 #250 • PD – 默认开启历史热点记录功能 #25281 – 新增 HTTP Component 的签名，用于标识请求来源 #4490 – TiDB Dashboard

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2321 14.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · blank">Partitioned Raft KV 存储引擎 （实验特性） TiKV 引入新一代存储引擎 Partitioned Raft KV，通过每个数据 Region 独享 RocksDB 实例， �→ 可将集群的存储能力从 TB 级扩展到 PB 级，并提供更稳定的写入延迟和更强大的扩容能力。 稳定性与高可用 RocksDB 实例存储 TiKV 的 Region 数据，每个 Region 的数据都独立存储在单独的 RocksDB 实例中。Partitioned Raft KV 能够更好地控制 RocksDB 实例的文件数和层级，实现 Region 间数据操作的物理隔离，并支持平稳管理更多的数据。与原 TiKV

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2448 14.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · @wjhuang2016 43 • TiKV – 修复由于过时的 Region peer 忽略 GC 消息导致 resolve-ts 被阻塞的问题 #16504 @crazycs520 – 修复 RocksDB 中非活跃的 WAL (Write Ahead Log) 可能损毁数据的问题 #16705 @Connor1996 • PD – 修复切换 PD 微服务模式时 TSO 可能卡住的问题 #7849 Y Y Y E E E E E 列式存储 (TiFlash) Y Y Y Y Y Y Y Y Y 使用 FastScan 加速 OLAP 场景下的查询 Y Y Y E N N N N N RocksDB 引擎 Y Y Y Y Y Y Y Y Y Titan 插件 Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E E E E E 使用 bucket

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2461 14.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 建议考虑使用该模式。 更多信息，请参考[用户文档](#pd-微服务)。 • 增强 Titan 引擎的易用性 #16245 @Connor1996 – 默认启用 Titan Blob 文件和 RocksDB Block 文件的共享缓存（shared-blob-cache 默认为 true），无需 再单独配置blob-cache-size。 – 支持动态修改min-blob-size、blob-f -io- �→ pool- �→ size 修改 为了提升 TiKV 性能， 该参数默 认值从 0 修改为 1， 表示 StoreWriter 线程池的 大小默认 为 1。 TiKV rocksdb. �→ defaultcf �→ .titan �→ .blob- �→ cache- �→ size 修改 从 v8.0.0 开 始，TiKV 引 入了 shared- �→ blob-

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2405 14.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 之后，从 TiDB v7.6.0 开始，默认开启 Titan 引擎， 自动将超过 32 KB 的大 Value 从 RocksDB 的 LSM Tree 中分离出来，单独存储在 Titan 中，以提升对大 Value 的 处理性能。Titan 引擎与 TiKV 所使用的 RocksDB 特性完全兼容。这一变更不仅降低了写入放大效应，在处 理大 Value 的写入、更新和点查场景时也表现得更加出色。同时，在 时，在 Range Scan 场景下，通过对 Titan 引 擎的优化，默认配置下 Titan 引擎的性能测试结果和 RocksDB 基本持平。 该配置的变更对历史版本兼容，已有的 TiDB 集群在升级到 TiDB v7.6.0 或之后版本时，仍会默认保持关闭 Titan 引擎。你可以根据实际的需求手动开启或者关闭 Titan 引擎。 更多信息，请参考用户文档。 • 支持下推以下字符串函数到