· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3672 15.3.12 用 Sqoop批量写入 TiDB数据，虽然配置了 --batch选项，但还是会遇到 java.sql.BatchUpdateExecption:statement count 5001 exceeds the transaction store_batch_ �→ size" target="_blank">批量聚合数据请求（从 v6.6.0 开始引入） TiDB 支持将发送到相同 TiKV 实例的数据请求部分合并，减少子任务的数量和 RPC 请求的开销。 �→ 在数据离散分布且 gRPC 线程池资源紧张的情况下，批量化请求能够提升性能超 50%。 0 码力 | 4369 页 | 98.92 MB | 1 年前

3

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3471 15.3.12 用 Sqoop批量写入 TiDB数据，虽然配置了 --batch选项，但还是会遇到 java.sql.BatchUpdateExecption:statement count 5001 exceeds the transaction 数 据更改发生的时间。 更多信息，请参考用户文档。 • 完整支持包含 INSERT、REPLACE、UPDATE 和 DELETE 的非事务 DML 语句 #33485 @ekexium 在大批量的数据处理场景，单一大事务 SQL 处理可能对集群稳定性和性能造成影响。非事务 DML 语句将 一个 DML 语句拆成多个 SQL 语句在内部执行。拆分后的语句将牺牲事务原子性和隔离性，但是对于集群 – Checkpoint 支持拉取模式 #13824 @YuJuncen – 升级 crossbeam-channel 以优化发送端的自旋问题 #13815 @sticnarf – TiKV 支持批量处理 Coprocessor 任务 #13849 @cfzjywxk – 故障恢复时通知 TiKV 唤醒休眠的 Region 以减少等待时间 #13648 @LykxSassinator – 通过代码优化减少内存申请的大小

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3968 15.3.12 用 Sqoop批量写入 TiDB数据，虽然配置了 --batch选项，但还是会遇到 java.sql.BatchUpdateException:statement count 5001 exceeds the transaction 1/accelerated-table-creation">建表性能提升 10 倍 �→ （实验特性，从 v7.6.0 开始引入） 在 v7.6.0 中引入了新的 DDL 架构，批量建表的性能提高了 10 倍。 �→ 这一重大改进极大地缩短了创建大量表所需的时间。特别是在 SaaS 场景中，快速创建大量表（ �→ 从数万到数十万不等）是一个常见的挑战，使用该特性能显著提升 SaaS 版本开始引入">用于处理更大事务的批量 DML 执行方式（实验特性，从 v8.0.0 开始引入） 大批量的 DML 任务，例如大规模的清理任务、连接或聚合，可能会消耗大量内存， �→ 并且在非常大的规模上受到限制。批量 DML (tidb_dml_type = "bulk") 是一种新的 �→ DML 类型，用于更高效地处理大批量 DML 任务，同时提供事务保证并减轻

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3979 15.3.12 用 Sqoop批量写入 TiDB数据，虽然配置了 --batch选项，但还是会遇到 java.sql.BatchUpdateException:statement count 5001 exceeds the transaction �→ 版本开始引入">用于处理更大事务的批量 DML 执行方式（实验特性） 大批量的 DML 任务，例如大规模的清理任务、连接或聚合，可能会消耗大量内存， �→ 并且在非常大的规模上受到限制。批量 DML (tidb_dml_type = "bulk") 是一种新的 �→ DML 类型，用于更高效地处理大批量 DML 任务，同时提供事务保证并减轻 创建表语句 CREATE TABLE 执行性能加速 10 倍，并且可线性扩展 #50052 @GMHDBJD – 支持同时提交 16 个 IMPORT INTO ... FROM FILE 任务，方便批量导入数据到目标表，极大地提升 了数据文件导入的效率和性能 #49008 @D3Hunter – 提升 Sort 算子的数据落盘性能 #47733 @xzhangxian1008 – 优化数据落盘

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3141 15.3.12 用 Sqoop批量写入 TiDB数据，虽然配置了 --batch选项，但还是会遇到 java.sql.BatchUpdateExecption:statement count 5001 exceeds the transaction 将会崩溃。该特性对于可恢复存储故障进行自动检测和恢 复，提升了集群稳定性。 用户文档，#10578 34 • 支持非事务性 DML 语法 在大批量的数据处理场景，单一大事务 SQL 处理有可能对集群稳定性和性能造成影响。TiDB 从 v6.1.0 支 持对 DELETE 语句提供拆分后批量处理的语法格式，拆分后的语句将牺牲事务原子性和隔离性，但是对 于集群的稳定性有很大提升，详细语法请参考BATCH。 用户文档 #4451 • Tools – Backup & Restore (BR) * 支持备份恢复空库 #33866 – TiDB Lightning * 优化 Scatter Region 为批量模式，提升 Scatter Region 过程的稳定性 #33618 – TiCDC * TiCDC 支持在数据复制过程中拆分大事务，能够有效降低大事务带来的复制延迟 #5280 56 2.2

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3871 15.3.12 用 Sqoop批量写入 TiDB数据，虽然配置了 --batch选项，但还是会遇到 java.sql.BatchUpdateExecption:statement count 5001 exceeds the transaction href="https://docs.pingcap.com/zh/tidb/v7.6/ddl-v2">建表性能提升 10 倍（实验特性） 在 v7.6.0 中引入了新的 DDL 架构，批量建表的性能提高了 10 倍。 �→ 这一重大改进极大地缩短了创建大量表所需的时间。特别是在 SaaS 场景中，快速创建大量表（ �→ 从数万到数十万不等）是一个常见的挑战，使用该特性能显著提升 SaaS 断时间显得尤为重要。在 v7.6.0 之前 的版本中，Region 打散算法是性能恢复的主要瓶颈。在 v7.6.0 中，BR 优化了 Region 打散算法，可以迅速 将恢复任务拆分为大量小任务，并批量分散到所有 TiKV 节点上。新的并行恢复算法充分利用每个 TiKV 节点的所有资源，实现了并行快速恢复。在实际案例中，大规模 Region 场景下，集群快照恢复速度最 高提升约 10 倍。 目前，新的粗粒度

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3816 15.3.12 用 Sqoop批量写入 TiDB数据，虽然配置了 --batch选项，但还是会遇到 java.sql.BatchUpdateException:statement count 5001 exceeds the transaction 问干扰。 �→ TiDB v7.4.0 将此资源控制应用于后台任务的优先级。 �→ 资源管控可以识别和管理后台任务执行的优先级，例如自动收集统计信息、备份和恢复、TiDB �→ Lightning 批量数据导入以及在线 DDL。未来，所有后台任务都将纳入资源管控。 资源管控支持

0 码力 | 4590 页 | 100.91 MB | 1 年前

3

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4100 15.3.12 用 Sqoop批量写入 TiDB数据，虽然配置了 --batch选项，但还是会遇到 java.sql.BatchUpdateException:statement count 5001 exceeds the transaction #53850 @you06 – 聚合的结果集能够作为 IndexJoin 的内表，使更多的复杂查询可以匹配到 IndexJoin，从而可以通过索 引提升查询效率 #37068 @elsa0520 – 通过批量删除 TiFlash placement rule 的方式，提升对分区表执行 TRUNCATE、DROP 后数据 GC 的处理速 度 #54068 @Lloyd-Pottiger – 升级 Azure /etc/ssh/sshd_config 将 MaxSessions 调至 20。 2. 重启 sshd 服务： service sshd restart 6. 创建并启动集群 按下面的配置模板，编辑配置文件，命名为 topo.yaml，其中： • user: "tidb"：表示通过 tidb 系统用户（部署会自动创建）来做集群的内部管理，默认使用 22 端 口通过 ssh 登录目标机器 •

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4144 15.3.12 用 Sqoop批量写入 TiDB数据，虽然配置了 --batch选项，但还是会遇到 java.sql.BatchUpdateException:statement count 5001 exceeds the transaction Region 打散策略 #55184 @D3Hunter 在 v8.4.0 之前，系统变量 tidb_scatter_region 仅支持设置为开启或者关闭。开启后，建表时会使用表 级别打散策略。在批量快速建表，且表的数量达到几十万张后，该策略会导致 Region 集中分布在其中 几个 TiKV 节点，导致这些 TiKV 节点 OOM。 从 v8.4.0 开始，该系统变量改为字符串类型，且新增支 布尔型 变更为 枚举型， 默认值 由原来 的 OFF 变更为 空，表 示不打 散表 Region， 并增加 了可选 值 TABLE 和 GLOBAL。 支持集 群级别 的打散 策略， 避免快 速批量 建表时 由于 Region 分 布不均 匀导致 TiKV OOM 的问题。 45 变量名 修改类型 描述 tidb_ �→ schema �→ _cache �→ _size 修改 默认值

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4164 15.3.12 用 Sqoop批量写入 TiDB数据，虽然配置了 --batch选项，但还是会遇到 java.sql.BatchUpdateException:statement count 5001 exceeds the transaction Region 打散策略 #55184 @D3Hunter 在 v8.4.0 之前，系统变量 tidb_scatter_region 仅支持设置为开启或者关闭。开启后，建表时会使用表 级别打散策略。在批量快速建表，且表的数量达到几十万张后，该策略会导致 Region 集中分布在其中 几个 TiKV 节点，导致这些 TiKV 节点 OOM。 从 v8.4.0 开始，该系统变量改为字符串类型，且新增支 布尔型 变更为 枚举型， 默认值 由原来 的 OFF 变更为 空，表 示不打 散表 Region， 并增加 了可选 值 TABLE 和 GLOBAL。 支持集 群级别 的打散 策略， 避免快 速批量 建表时 由于 Region 分 布不均 匀导致 TiKV OOM 的问题。 50 变量名 修改类型 描述 tidb_ �→ schema �→ _cache �→ _size 修改 默认值