· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1242 12.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · indexes Experimental Experimental Experimental Experimental Columnar storage (TiFlash) Y Y Y Y RocksDB engine Y Y Y Y Titan plugin Y Y Y Y Invisible indexes Y Y Y N Composite PRIMARY KEY Y Y Y Y Unique storage.scheduler-worker-pool-size: 5 raftstore.store-pool-size: 3 raftstore.apply-pool-size: 3 rocksdb.max-background-jobs: 8 raftdb.max-background-jobs: 4 raftdb.allow-concurrent-memtable-write: true

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1333 12.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Experimental Experimental Experimental Experimental Experimental Columnar storage (TiFlash) Y Y Y Y Y RocksDB engine Y Y Y Y Y Titan plugin Y Y Y Y Y Invisible indexes Y Y Y Y N Composite PRIMARY KEY Y Y storage.scheduler-worker-pool-size: 5 raftstore.store-pool-size: 3 raftstore.apply-pool-size: 3 59 rocksdb.max-background-jobs: 8 raftdb.max-background-jobs: 4 raftdb.allow-concurrent-memtable-write: true

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1289 12.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · read and write for TiFlash • TiKV introduces a new flow control mechanism to replace the previous RocksDB write stall mechanism to improve the stability of TiKV flow control • Simplify the operation and previous RocksDB write stall mechanism. Compared with the write stall mechanism, this new mechanism reduces the impact on the stability of foreground write. In specific, when the stress of RocksDB compaction

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1902 12.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Engine (experimental) Support using Raft Engine as the log storage engine in TiKV. Compared with RocksDB, Raft Engine can reduce TiKV I/O write traffic by up to 40% and CPU usage by 10%, while improving rare cases #11187 – Fix the issue that GC scan causes memory overflow #11410 – Fix the issue that RocksDB flush or compaction causes panic when the disk ca- pacity is full #11224 • PD – Fix the issue that

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3086 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · values exceeding 32 KB from RocksDB’s LSM Tree, and stores them separately in Titan to optimize the handling of large values. The Titan engine is completely compatible with RocksDB features utilized by TiKV Scan scenarios, the Titan engine’s optimization has resulted in performance comparable to that of RocksDB in the default configuration. This configuration change remains compatible with earlier versions

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3297 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · continuous operation of the system #17356 @LykxSassinator • Optimize the compaction trigger mechanism of RocksDB to accelerate disk space reclamation when handling a large number of DELETE versions #17269 @AndreMouche Y Y Y Y Y Y Y Y Y Use FastScan to accelerate queries in OLAP scenarios Y Y Y Y Y Y E N N N N N RocksDB engine Y Y Y Y Y Y Y Y Y Y Y Y Titan plugin Y Y Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3281 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · continuous operation of the system #17356 @LykxSassinator • Optimize the compaction trigger mechanism of RocksDB to accelerate disk space reclamation when handling a large number of DELETE versions #17269 @AndreMouche Y Y Y Y Y Y Y Y Y Use FastScan to accelerate queries in OLAP scenarios Y Y Y Y Y Y E N N N N N RocksDB engine Y Y Y Y Y Y Y Y Y Y Y Y Titan plugin Y Y Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3251 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Y Y Y Y Y Y Y Y Y Y Use FastScan to accelerate queries in OLAP scenarios Y Y Y Y Y E N N N N N RocksDB engine Y Y Y Y Y Y Y Y Y Y Y Titan plugin Y Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E E E max-thread-count = cores * 0.8 / the number of �→ TiKV instances • To configure the storage CF (all RocksDB column families) to be self-adaptive to memory. By configuring the storage.block-cache.capacity parameter

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3049 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · �→ redundant �→ - �→ rows Modified Sets the number of redun- dant MVCC rows required to trigger RocksDB com- paction. Starting from v7.5.0, this configu- ration item takes effect for the "raft- �→ kv" �→ - �→ percent �→ Modified Sets the percent- age of redun- dant MVCC rows required to trigger RocksDB com- paction. Starting from v7.5.0, this configu- ration item takes effect for the "raft- �→ kv"

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3210 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ignores the GC message #16504 @crazycs520 • Fix the issue that inactive Write Ahead Logs (WALs) in RocksDB might corrupt data #16705 @Connor1996 • PD • Fix the issue that TSO might get stuck when toggling (TiFlash) Y Y Y Y Y Y Y Y Y Use FastScan to accelerate queries in OLAP scenarios Y Y Y E N N N N N RocksDB engine Y Y Y Y Y Y Y Y Y Titan plugin Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E E E E E Use