pending- �→ compaction �→ -bytes- �→ limit 新增 当 KvDB 的 pending compaction bytes 达到该阈值时， 流控机制开始 拒绝部分写入 请求并报错。 默认值为 “192GB”。 TiKV 配置文件 storage.flow- �→ control. �→ hard- �→ pending- �→ compaction �→ -bytes- -bytes- �→ limit 新增 当 KvDB 的 pending compaction bytes 达到该阈值时， 流控机制开始 拒绝所有写入 请求并报错。 默认值为 “1024GB”。 2.2.1.3 其他 • 升级前，请检查系统变量tidb_evolve_plan_baselines 的值是否为 ON。如果为 ON，需要将其改成 OFF， 否则会导致升级失败。 • v4.0 集群升级到 引入了新的流控机制代替之前的 RocksDB write stall 流控机制。相比于 write stall 机制，新的流控机制 通过以下改进减少了流控对前台写入稳定性的影响： – 当 RocksDB compaction 压力堆积时，通过在 TiKV scheduler 层进行流控而不是在 RocksDB 层进行流控， 避免 RocksDB write stall 造成的 raftstore 卡顿并造成 Raft

数据无类型 • 非RowKey查询性能差 • Column Family限制(数目，Partition对齐) • Region资源消耗大，实例数目不能太多 • 无法保证服务质量* – Split/Compaction等操作对集群性能影响极大 • 多租户隔离能力差 • 大内存(>100GB)管理差 12 Postgres Conference China 2016 中国用户大会 Kudu的设计目标 读写性能取舍* Postgres Conference China 2016 中国用户大会 性能优化目标 • 读 vs. 写？ – 读需要合并HFile，因此文件越少越好 – 写需要减少Compaction操作，因此文件越多越好 – 优化读或者写之一，而不是全部 • 顺序 vs. 随机？ • 参考值——每个RegionServer吞吐率>20MB/s – 读吞吐率>3000ops/s, 写吞吐率>10000ops/s 每个Region的Memstore太小，磁盘flush频繁， HFile文件过多小文件 Postgres Conference China 2016 中国用户大会 Major Compaction • HBase根据时间来计划执行Major Compaction – hbase.hregion.majorcompaction = 604800000 (缺省 值为一周) – hbase.hregion.majorcompaction

请求时因超时而导致 panic 的问题 #10852 – 修复因统计线程监控数据导致的内存泄漏 #11195 – 修复在某些平台获取 cgroup 信息导致 panic 的问题 #10980 – 修复 Compaction Filter GC 无法清除 MVCC Deletion 版本导致 scan 性能下降的问题 #11248 • PD 39 – 修复因超过副本配置数量而导致错误删除带有数据且处于 pending write- bytes- per- sec 一秒 可写 入 RocksDB 的最 大字 节数 gc.enable- compaction- filter 是否 使用 com- paction filter 240 配置 项 简介 gc.compaction- filter- skip- version- check 是否 跳过 com- paction filter RocksDB 后台 线程 个数 {db- name}.max- open- files RocksDB 可以 打开 的文 件总 数 {db- name}.compaction- readahead- size Compaction 时候 reada- head 的大 小 {db- name}.bytes- per- sync 异步 同步 的限 速速 率 241 配置 项

行个数。默认 值为 6，代表最 多并发执行 6 个任务。 27 配置文件 配置项 修改类型 描述 TiKV 配置文件 soft-pending- �→ compaction �→ -bytes- �→ limit 修改 pending compaction bytes 的软限制，默 认值从 “64GB” 修改 为 “192GB”。 TiKV 配置文件 storage.io- �→ rate-limit 的可能性 30 • 新增 TiKV 后台任务写入限制 (TiKV Write Rate Limiter) TiKV Write Rate Limiter 通过平滑 TiKV 后台任务如 GC，Compaction 等的写入流量，保证读写请求的延迟稳定 性。TiKV 后台任务写入限制默认值为 “0MB”，建议将此限制设置为磁盘的最佳 I/O 带宽，例如云盘厂商 指定的最大 I/O 带宽。 用户文档，#9156 TiFlash 进程崩溃的问题 – 修复当使用 BR 恢复数据时 TiFlash 进程可能崩溃的问题 – 修复并发复制共享 Delta 索引导致结果错误的问题 – 修复 TiFlash 在 Compaction Filter 特性开启时可能崩溃的问题 – 修复了从 Async Commit 回退的锁无法被 TiFlash 清除的问题 – 修复当 TIMEZONE 类型的转换结果包含 TIMESTAMP

prewrite 请求重试在极少数情况下影响数据一致性的风险 #11187 – 修复 GC 扫描导致的内存溢出 #11410 – 修复当达到磁盘容量满时 RocksDB flush 或 compaction 导致的 panic #11224 43 • PD – 修复 Region 统计不受 flow-round-by-digit 影响的问题 #4295 – 修复调度 Operator 因为目标 max- write- bytes- per- sec 一秒 可写 入 RocksDB 的最 大字 节数 gc.enable- compaction- filter 是否 使用 com- paction filter gc.compaction- filter- skip- version- check 是否 跳过 com- paction filter 的集 群版 flush 线程 个数 {db- name}.max- open- files RocksDB 可以 打开 的文 件总 数 {db- name}.compaction- readahead- size Compaction 时候 reada- head 的大 小 {db- name}.bytes- per- sync 异步 同步 的限 速速 率 {db- name}

的数据存在较多的重叠，需要 TiKV 在导入 过程中执行额外的 compaction 操作，影响了 TiKV 的性能和稳定性。 随着 v7.4.0 引入全局排序实验特性，TiDB 支持将需要导入的数据暂时存储在外部存储（如 Amazon S3）中 进行全局排序后再导入到 TiKV 中，使 TiKV 无需在导入过程中执行 compaction 操作。全局排序在 v8.0.0 成 为正式功能 (GA)，可以降低 后，随着数据不断写入，旧版本的数据会逐步转换成新版本数据。 • 新旧版本的数据格式不能做到完全的转换，这会带来一定系统开销（通常不影响业务，但需要注意）。 因此升级完成后，建议使用COMPACT 命令触发数据整理 (Compaction) 将相关表的数据转成新版本格式。操 作步骤如下： 1. 对每张有 TiFlash 副本（replica）的表执行如下命令： ALTER TABLE COMPACT V2，如需使用 V3，可通过TiFlash 配置参数 storage.format_version = 5 来设置。 设置后，TiFlash 仍可以读 V2 版本的 DTFile，并且在后续的数据整理 (Compaction) 中会将这些 V2 版本的 DMFile 逐 步重新写为 V3 版本的 DTFile。 在 TiFlash 升级到 v7.3 并且使用了 V3 版本的 DTFile 后，如需回退到之前的

后，随着数据不断写入，旧版本的数据会逐步转换成新版本数据。 • 新旧版本的数据格式不能做到完全的转换，这会带来一定系统开销（通常不影响业务，但需要注意）。 因此升级完成后，建议使用COMPACT 命令触发数据整理 (Compaction) 将相关表的数据转成新版本格式。操 作步骤如下： 1. 对每张有 TiFlash 副本（replica）的表执行如下命令： ALTER TABLE COMPACT V2，如需使用 V3，可通过TiFlash 配置参数 storage.format_version = 5 来设置。 设置后，TiFlash 仍可以读 V2 版本的 DTFile，并且在后续的数据整理 (Compaction) 中会将这些 V2 版本的 DMFile 逐 步重新写为 V3 版本的 DTFile。 在 TiFlash 升级到 v7.3 并且使用了 V3 版本的 DTFile 后，如需回退到之前的 max- write- bytes- per- sec 一秒 可写 入 RocksDB 的最 大字 节数 gc.enable- compaction- filter 是否 使用 com- paction filter gc.compaction- filter- skip- version- check 是否 跳过 com- paction filter 的集 群版

默认值是 true，已 有集群升 级到 v7.6.0 或更高版 本则会维 持原有的 配置。 TiKV gc.num- �→ threads �→ 新增 设置当 enable- �→ compaction �→ - �→ filter 为 false 时 GC 的线 程个数。 默认值为 1。 TiKV raftstore �→ . �→ periodic �→ -full- �→ compact 后，随着数据不断写入，旧版本的数据会逐步转换成新版本数据。 • 新旧版本的数据格式不能做到完全的转换，这会带来一定系统开销（通常不影响业务，但需要注意）。 因此升级完成后，建议使用COMPACT 命令触发数据整理 (Compaction) 将相关表的数据转成新版本格式。操 作步骤如下： 1. 对每张有 TiFlash 副本（replica）的表执行如下命令： ALTER TABLE COMPACT V2，如需使用 V3，可通过TiFlash 配置参数 storage.format_version = 5 来设置。 设置后，TiFlash 仍可以读 V2 版本的 DTFile，并且在后续的数据整理 (Compaction) 中会将这些 V2 版本的 DMFile 逐 步重新写为 V3 版本的 DTFile。 在 TiFlash 升级到 v7.3 并且使用了 V3 版本的 DTFile 后，如需回退到之前的

redundant �→ -rows 新增 触发 RocksDB compaction 需要的冗 余的 MVCC 数据行数。 默认值为 50000。 TiKV region- �→ compact �→ - �→ redundant �→ -rows- �→ percent �→ 新增 触发 RocksDB compaction 需要的冗 余的 MVCC 数据行所 占比例。 默认值为 20。 后，随着数据不断写入，旧版本的数据会逐步转换成新版本数据。 • 新旧版本的数据格式不能做到完全的转换，这会带来一定系统开销（通常不影响业务，但需要注意）。 因此升级完成后，建议使用COMPACT 命令触发数据整理 (Compaction) 将相关表的数据转成新版本格式。操 作步骤如下： 1. 对每张有 TiFlash 副本（replica）的表执行如下命令： ALTER TABLE COMPACT write- bytes- per- sec 一秒 可写 入 RocksDB 的最 大字 节数 gc.enable- compaction- filter 是否 使用 com- paction filter 798 配置 项 简介 gc.compaction- filter- skip- version- check 是否 跳过 com- paction filter

TiFlash 分区表动态裁剪 GA • 支持兼容 MySQL 的用户级别锁管理 • 支持非事务性 DML 语法（目前仅支持 DELETE） 32 • TiFlash 支持按需触发物理数据整理（Compaction） • MPP 实现窗口函数框架 • TiCDC 支持将 changelogs 以 Avro 协议输出到 Kafka • TiCDC 支持在数据复制过程中拆分大事务，能够有效降低大事务带来的复制延迟 7 兼容。 用户文档：List 分区，List COLUMNS 分区 • 支持通过 SQL 语句对 TiFlash 副本立即触发物理数据整理 (Compaction)（实验特性） 在当前 TiFlash 后台自动整理物理数据（Compaction）机制基础上，新增 compact 命令，帮助刷新旧格式数 据，提升读写性能。推荐在升级至 v6.1.0 之后，执行该语句以清理数据。此语句是对标准 max- write- bytes- per- sec 一秒 可写 入 RocksDB 的最 大字 节数 gc.enable- compaction- filter 是否 使用 com- paction filter gc.compaction- filter- skip- version- check 是否 跳过 com- paction filter 的集 群版