coprocessor 执行时间 和业务相关，但通常不会出现持续高位的值 Pending task : 累积的任务数量 除了 pd worker，其他任何偏高都属于异常 stall : RocksDB Stall 时间 大于 0，表明 RocksDB 忙不过来，需要注意 IO 和 CPU 了 channel full : channel 满了，表明线程太忙无法处理 如果大于 0，表明线程已经没法处理了 95% se yml 中的 block-cache-size 参数: rocksdb defaultcf block-cache-size(GB) = MEM 80% / TiKV 实例数量 30% rocksdb writecf block-cache-size(GB) = MEM 80% / TiKV 实例数量 45% rocksdb lockcf block-cache-size(GB) = tikv_log_dir {{ deploy_dir }}/log 日志目录 TiKV tikv_data_dir {{ deploy_dir }}/data 数据目录 TiKV wal_dir “” rocksdb write-ahead 日 志目录，为空时与 TiKV 数 据目录一致 TiKV raftdb_path “” raftdb 目录，为空时为 tikv_data_dir/raft PD pd_log_dir

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3297 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · continuous operation of the system #17356 @LykxSassinator • Optimize the compaction trigger mechanism of RocksDB to accelerate disk space reclamation when handling a large number of DELETE versions #17269 @AndreMouche Y Y Y Y Y Y Y Y Y Use FastScan to accelerate queries in OLAP scenarios Y Y Y Y Y Y E N N N N N RocksDB engine Y Y Y Y Y Y Y Y Y Y Y Y Titan plugin Y Y Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3281 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · continuous operation of the system #17356 @LykxSassinator • Optimize the compaction trigger mechanism of RocksDB to accelerate disk space reclamation when handling a large number of DELETE versions #17269 @AndreMouche Y Y Y Y Y Y Y Y Y Use FastScan to accelerate queries in OLAP scenarios Y Y Y Y Y Y E N N N N N RocksDB engine Y Y Y Y Y Y Y Y Y Y Y Y Titan plugin Y Y Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3251 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Y Y Y Y Y Y Y Y Y Y Use FastScan to accelerate queries in OLAP scenarios Y Y Y Y Y E N N N N N RocksDB engine Y Y Y Y Y Y Y Y Y Y Y Titan plugin Y Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E E E max-thread-count = cores * 0.8 / the number of �→ TiKV instances • To configure the storage CF (all RocksDB column families) to be self-adaptive to memory. By configuring the storage.block-cache.capacity parameter

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3210 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ignores the GC message #16504 @crazycs520 • Fix the issue that inactive Write Ahead Logs (WALs) in RocksDB might corrupt data #16705 @Connor1996 • PD • Fix the issue that TSO might get stuck when toggling (TiFlash) Y Y Y Y Y Y Y Y Y Use FastScan to accelerate queries in OLAP scenarios Y Y Y E N N N N N RocksDB engine Y Y Y Y Y Y Y Y Y Titan plugin Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E E E E E Use

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3243 14.2.2 RocksDB Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · (TiFlash) Y Y Y Y Y Y Y Y Y Y Use FastScan to accelerate queries in OLAP scenarios Y Y Y Y E N N N N N RocksDB engine Y Y Y Y Y Y Y Y Y Y Titan plugin Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E E E E E max-thread-count = cores * 0.8 / the number of �→ TiKV instances • To configure the storage CF (all RocksDB column families) to be self-adaptive to memory. By configuring the storage.block-cache.capacity parameter

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2567 14.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 时，Raft Engine 会自动将新日志写入 spill-dir，从而确保系统的持续运行 #17356 @LykxSassinator – 优 化 存 在 大 量 DELETE 版 本 时 RocksDB 的 compaction 触 发 机 制， 以 加 快 磁 盘 空 间 回 收 #17269 @AndreMouche – 支持在线更改写入流量控制 (flow-control) 的相关配置 E E 列式存储 (TiFlash) Y Y Y Y Y Y Y Y Y Y Y Y 使用 FastScan 加速 OLAP 场景下的查询 Y Y Y Y Y Y E N N N N N RocksDB 引擎 Y Y Y Y Y Y Y Y Y Y Y Y Titan 插件 Y Y Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E E E E E

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2540 14.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Y E E E E E 列式存储 (TiFlash) Y Y Y Y Y Y Y Y Y Y 使用 FastScan 加速 OLAP 场景下的查询 Y Y Y Y E N N N N N RocksDB 引擎 Y Y Y Y Y Y Y Y Y Y Titan 插件 Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E E E E E E 使用 bucket # server.grpc-concurrency: 4 # raftstore.apply-pool-size: 2 # raftstore.store-pool-size: 2 # rocksdb.max-sub-compactions: 1 # storage.block-cache.capacity: "16GB" # readpool.unified.max-thread-count:

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2549 14.2.2 RocksDB 简介 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 时，Raft Engine 会自动将新日志写入 spill-dir，从而确保系统的持续运行 #17356 @LykxSassinator – 优 化 存 在 大 量 DELETE 版 本 时 RocksDB 的 compaction 触 发 机 制， 以 加 快 磁 盘 空 间 回 收 #17269 @AndreMouche – 支持在线更改写入流量控制 (flow-control) 的相关配置 E E 列式存储 (TiFlash) Y Y Y Y Y Y Y Y Y Y Y Y 使用 FastScan 加速 OLAP 场景下的查询 Y Y Y Y Y Y E N N N N N RocksDB 引擎 Y Y Y Y Y Y Y Y Y Y Y Y Titan 插件 Y Y Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E E E E E

存文 件文件的元数据，包括inode，dentry，文件的 空间分配信息。 • 数据集群：采用外部存储，S3或者Curve块存储，保 存写入文件的数据。Curve文件存储RAFT应用 基于rocksdb的存储引擎 • 要求存储的元数据的大小不超过内存的大小 • raft apply的请求，数据都在内存，直接修改 内存中的数据 • raft snapshot，为避免快照对正常操作的影 响，利用操作系统的内存写时复制技术， 后台遍历内存，把内存的数据持久化到本地 磁盘 基于memory的存储引擎 • 存储元数据量不受内存大小限制 • raft apply请求，数据保存在rocksdb，向 rocksdb插入记录。 • raft snapshot，利用rocksdb的快照功能， 对rocksdb打快照。 • Curve文件系统也是使用copyset管理。 • 写日志的方式与Curve块存储基本一致，实现细节略有差异。 • raft raft apply和raft snapshot的实现和Curve块存储不同。 • metaserver有两套存储引擎，基于memory和基于rocksdb。 Curve文件系统与Curve块存储的实现区别CURVE的RAFT配置变更 心跳 • 通过心跳维持mds和chunkserver/metaserve的 数据交互 • mds发起配置变更，copyset复制组执行 • 在curve