accidentally delete valid data #17258 @hbisheng • Fix the issue that Ingestion picked level and Compaction Job Size(files) are displayed incorrectly in the TiKV dashboard in Grafana #15990 @Connor1996 Note that it is recommended to reserve 20% of storage space, because background tasks such as compaction and snapshot replication also consume a portion of the storage space. 6.3.4 Change configuration configurable. On key rotation, TiKV does not rewrite all existing files to replace the key, but RocksDB compaction are expected to rewrite old data into new data files, with the most recent data key, if the cluster

to spill-dir, ensuring continuous operation of the system #17356 @LykxSassinator • Optimize the compaction trigger mechanism of RocksDB to accelerate disk space reclamation when handling a large number Note that it is recommended to reserve 20% of storage space, because background tasks such as compaction and snapshot replication also consume a portion of the storage space. 6.3.4 Change configuration regularly update the metadata. Because the time interval between the MVCC of etcd and PD’s default compaction is one hour, the amount of PD storage that TiCDC uses is proportional to the amount of metadata

to spill-dir, ensuring continuous operation of the system #17356 @LykxSassinator • Optimize the compaction trigger mechanism of RocksDB to accelerate disk space reclamation when handling a large number Note that it is recommended to reserve 20% of storage space, because background tasks such as compaction and snapshot replication also consume a portion of the storage space. 6.3.4 Change configuration configurable. On key rotation, TiKV does not rewrite all existing files to replace the key, but RocksDB compaction are expected to rewrite old data into new data files, with the most recent data key, if the cluster

balancing #52313 @xzhangxian1008 • TiKV 54 • Add the Compaction Job Size(files) metric to show the number of SST files involved in a single compaction job #16837 @zhangjinpeng87 • Enable the early apply Note that it is recommended to reserve 20% of storage space, because background tasks such as compaction and snapshot replication also consume a portion of the storage space. 6.3.4 Change configuration configurable. On key rotation, TiKV does not rewrite all existing files to replace the key, but RocksDB compaction are expected to rewrite old data into new data files, with the most recent data key, if the cluster

Note that it is recommended to reserve 20% of storage space, because background tasks such as compaction and snapshot replication also consume a portion of the storage space. 6.3.4 Change configuration configurable. On key rotation, TiKV does not rewrite all existing files to replace the key, but RocksDB compaction are expected to rewrite old data into new data files, with the most recent data key, if the cluster On key rotation, TiFlash does not rewrite all existing files to replace the key, but background compaction tasks are expected to rewrite old data into new data files, with the most recent data key, if the

@crazycs520 – 在 MPP 负载均衡时移除不包含任何 Region 的 Store #52313 @xzhangxian1008 • TiKV – 增加 Compaction Job Size(files) 指标来呈现单个 compaction job 涉及的 SST 文件数 #16837 @zhangjinpeng87 – 默认开启提前 apply 特性，开启后，Raft leader 在多数 钥加密。默认情况下，TiKV 每周自动轮换数据密钥，但是该时间段是可配置的。密钥轮换时，TiKV 不会重写全 664 部现有文件来替换密钥，但如果集群的写入量恒定，则 RocksDB compaction 会将使用最新的数据密钥对数据重 新加密。TiKV 跟踪密钥和加密方法，并使用密钥信息对读取的内容进行解密。 无论用户配置了哪种数据加密方法，数据密钥都使用 AES256-GCM 算法进行加密，以方便对主密钥进行验证。 文件和计算过程中产生的临时数据 文件等。默认情况下，TiFlash 每周自动轮换数据密钥，该轮换周期也可根据需要自定义配置。密钥轮换时， TiFlash 不会重写全部现有文件来替换密钥，但如果集群的写入量恒定，则后台 compaction 任务将会用最新的 数据密钥对数据重新加密。TiFlash 跟踪密钥和加密方法，并使用密钥信息对读取的内容进行解密。 8.1.5.3.1 创建密钥 如需在 AWS 上创建一个密钥，请参考

Engine 会自动将新日志写入 spill-dir，从而确保系统的持续运行 #17356 @LykxSassinator – 优 化 存 在 大 量 DELETE 版 本 时 RocksDB 的 compaction 触 发 机 制， 以 加 快 磁 盘 空 间 回 收 #17269 @AndreMouche – 支持在线更改写入流量控制 (flow-control) 的相关配置 #17395 @glorv 相同的数据密 钥加密。默认情况下，TiKV 每周自动轮换数据密钥，但是该时间段是可配置的。密钥轮换时，TiKV 不会重写全 部现有文件来替换密钥，但如果集群的写入量恒定，则 RocksDB compaction 会将使用最新的数据密钥对数据重 新加密。TiKV 跟踪密钥和加密方法，并使用密钥信息对读取的内容进行解密。 无论用户配置了哪种数据加密方法，数据密钥都使用 AES256-GCM 算法进行加密，以方便对主密钥进行验证。 文件和计算过程中产生的临时数据 文件等。默认情况下，TiFlash 每周自动轮换数据密钥，该轮换周期也可根据需要自定义配置。密钥轮换时， TiFlash 不会重写全部现有文件来替换密钥，但如果集群的写入量恒定，则后台 compaction 任务将会用最新的 数据密钥对数据重新加密。TiFlash 跟踪密钥和加密方法，并使用密钥信息对读取的内容进行解密。 727 8.1.5.3.1 创建密钥 如需在 AWS 上创建一个密钥，请参考

Engine 会自动将新日志写入 spill-dir，从而确保系统的持续运行 #17356 @LykxSassinator – 优 化 存 在 大 量 DELETE 版 本 时 RocksDB 的 compaction 触 发 机 制， 以 加 快 磁 盘 空 间 回 收 #17269 @AndreMouche – 支持在线更改写入流量控制 (flow-control) 的相关配置 #17395 @glorv 7.8.19 TiCDC 占用多少 PD 的存储空间 TiCDC 使用 PD 内部的 etcd 来存储元数据并定期更新。因为 etcd 的多版本并发控制 (MVCC) 以及 PD 默认的 compaction 间隔是 1 小时，TiCDC 占用的 PD 存储空间与 1 小时内元数据的版本数量成正比。在 v4.0.5、v4.0.6、 v4.0.7 三个版本中 TiCDC 存在元数据写入频繁的问题，如果 相同的数据密 钥加密。默认情况下，TiKV 每周自动轮换数据密钥，但是该时间段是可配置的。密钥轮换时，TiKV 不会重写全 部现有文件来替换密钥，但如果集群的写入量恒定，则 RocksDB compaction 会将使用最新的数据密钥对数据重 新加密。TiKV 跟踪密钥和加密方法，并使用密钥信息对读取的内容进行解密。 无论用户配置了哪种数据加密方法，数据密钥都使用 AES256-GCM 算法进行加密，以方便对主密钥进行验证。

region-split-check-diff = "32MB" 63. 64. [rocksdb] 65. # RocksDB 进行后台任务的最大线程数，后台任务包括 compaction 和 flush。具体 RocksDB 为什么需要进行 compaction， 66. # 请参考 RocksDB 的相关资料。在写流量比较大的时候（例如导数据），建议开启更多的线程， 67. # 但应小于 CPU 的核数。例如在导数据的时候，32 可以通过该参数打开或者关闭 RocksDB 的统计信息。 89. # enable-statistics = true 90. 91. # 开启 RocksDB compaction 过程中的预读功能，如果使用的是机械磁盘，建议该值至少为2MB。 92. # compaction-readahead-size = "2MB" 93. 94. [rocksdb.defaultcf] 95. # 数据块大小。RocksDB 为"no:no:lz4:lz4:lz4:zstd:zstd"，在大量写入数据的情况下，发现系统的 I/O 压力不大，但是 CPU 109. # 资源已经吃光了，top -H 发现有大量的 bg 开头的线程（RocksDB 的 compaction 线程）在运行，这 110. # 个时候可以考虑用 I/O 资源换取 CPU 资源，将压缩方式改成"no:no:no:lz4:lz4:zstd:zstd"。总之，目 111. # 的是为了最大限度地利用系统的现有资源，使

据操作的offset可以快速定位到index，则只需要遍历index相关的S3ChunkInfoList，减少了遍历的范围。 对象名设计 对象名采用chunkId+blockindex+compaction（后台碎片整理才会使用，默认0）+inodeId。增加inodeId的目的是为了后续从对象存储上遍历，反查文件，这里就要求inodeId是永远不可重复。 读写缓存分离 读写缓存的设计采用的是读写缓存分离的方案。 troage模块决定。 关键数据结构 message S3ChunkInfo { required uint64 chunkId = 1; required uint64 compaction = 2; required uint64 offset = 3; required uint64 len = 4; // file logic length required