TiDB在⾦金金融聚合⽀支付业务的实践 个⼈人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关⼯工作、数据库⾃自动化运维建设 TiDB在Ping++⾦金金融聚合⽀支付业务的实践 • TiDB在Ping++的应⽤用场景分析 - OLAP：saas服务下实时数仓的⽀支撑 - HTAP：基于TiDB Docker的聚合⽀支付私有化部署⽅方案 分布式，海海量量数据实时查询性能 • ⾃自动failover的⾼高可⽤用 场景⼆二：聚合⽀支付私有化部署⽅方案 服务私有化部署的数据库要求： • 脱离云产品：DRDS • oltp+olap • 海海量量交易易下的单表性能：分库分表？ • ⾼高可⽤用：MHA？Innodb Cluster? • 监控、运维⽅方式简单⾼高效 场景⼆二：聚合⽀支付私有化部署⽅方案 基于TiDB Docker的HTAP⼀一站式⽅方案

2.4 提升改进 • TiDB – 支持将内置函数 json_unquote() 下推到 TiKV #24415 – 支持在 Dual 表上移除 Union 算子的优化 #25614 – 优化聚合算子的代价常数 #25241 – 允许 MPP outer join 根据表行数选择构建表 #25142 – 支持 MPP 查询任务按 Region 均衡到不同 TiFlash 节点上 #24724 split 失败而不断重启的问题 – 修复无法删除 Delta 历史数据的潜在问题 – 修复在 CAST 函数中为非二进制字符串填充错误数据的问题 – 修复处理包含复杂 GROUP BY 列的聚合查询时结果不正确的问题 – 修复写入压力过大时出现进程崩溃的问题 – 修复右连接键不为空且左连接键可为空时进程崩溃的问题 – 修复 read-index 请求耗时长的潜在问题 – 修复读负载高的情况下进程崩溃的问题 位函数和操作符 Y Y Y Y Cast 函数和操作符 Y Y Y Y 加密和压缩函数 Y Y Y Y 信息函数 Y Y Y Y JSON 函数 实验特性 实验特性 实验特性 实验特性 聚合函数 Y Y Y Y 窗口函数 Y Y Y Y 其他函数 Y Y Y Y 操作符 Y Y Y Y 字符集和排序规则 1 Y Y Y Y 2.3.2 索引和约束 索引和约束 5.2 5.1

位函数和操作符 Y Y Y Y Cast 函数和操作符 Y Y Y Y 加密和压缩函数 Y Y Y Y 信息函数 Y Y Y Y JSON 函数 实验特性 实验特性 实验特性 实验特性 聚合函数 Y Y Y Y 窗口函数 Y Y Y Y 其他函数 Y Y Y Y 操作符 Y Y Y Y 字符集和排序规则 1 Y Y Y Y 2.3.2 索引和约束 索引和约束 5.2 5.1 metrics_summary 用于汇总所有监控数据，以提升用户排查各监控指标 的效率。 • 监控汇总并按 label 聚合表information_schema.metrics_summary_by_label 同样用于汇总所有监控数据， 但该表会对各项监控的不同的 label 进行聚合统计。 8.3.3 自动诊断 以上集群信息表和集群监控表均需要用户手动执行 SQL 语句来排查集群问题。TiDB statements_summary 用于保存 SQL 监控指标聚合后的结果。一般来说，每一项监控指标都包含平均值和最大 值。例如执行延时对应 AVG_LATENCY 和 MAX_LATENCY 两个字段，分别是平均延时和最大延时。 为了监控指标的即时性，statements_summary 里的数据定期被清空，只展现最近一段时间内的聚合结果。清 空周期由系统变量 tidb_stmt_summary_refresh_interval

数学函数：ROUND(decimal, int) * 日期时间函数：HOUR()，MICROSECOND()，MINUTE()，SECOND()，SYSDATE() * 类型转换函数：CAST(time, real) * 聚合函数：GROUP_CONCAT()，SUM(enum) – 提供了 512 位 SIMD 支持 – 增强了对过期的数据版本的清理算法，减少磁盘使用量及提高读文件性能 – 解决了用户在某些非 Linux #2735 #1606 #3000 #2985 #2156 * 当同步任务状态正常时，不再显示历史错误信息，避免误导用户 #2242 2.2.6 Bug 修复 • TiDB – 修复在分区中下推聚合算子时，因浅拷贝 schema 列导致执行计划出错，进而导致执行时报错的问 题 #27797 #26554 – 修复 plan cache 无法感知 unsigned 标志变化的问题 #28254 #27429 – 修复 extract 函数处理负值时的问题 #27236 – 修复当设置 NO_UNSIGNED_SUBTRACTION 时创建分区失败的问题 #26765 – 避免在列修剪和聚合下推中使用有副作用的表达式 #27106 – 删除无用的 gRPC 日志 #24190 – 限制有效的小数点长度以修复精度相关的问题 #3091 – 修复 plus 表达式中检查溢出方法出错的问题

本文档使用 书栈(BookStack.CN) 构建 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 TiDB SQL 语法图 JSON 时，唯一索引约束不被检查以加速导入速度。 这个变量不对外用，只是给 lightning 使用，请用户不要自行修改。 作用域: SESSION 默认值: 0 这个变量用来设置优化器是否执行聚合函数下推到 Join 之前的优化操作。 当查询中聚合操作执行很慢时，可以尝试设置该变量为 1。 TiDB 专用系统变量和语法 System Variable tidb_snapshot tidb_import_data ti

href="https://docs.pingcap.com/zh/tidb/v8.4/top-sql#使用-top-sql">按表或数据库维度聚合 �→ TiKV 消耗的 CPU 时间 当热点问题不是由个别 SQL 语句引起时，利用 Top SQL 中按表或者数据库聚合的 CPU 时间， �→ 能够协助用户快速发现造成热点的表或者应用程序，从而大大提升热点问题和 CPU �→ 消耗问题的诊断效率。 支持按表或数据库维度查看 CPU 时间的聚合结果 #55540 @nolouch 在 v8.4.0 之前，Top SQL 以 SQL 为单位来聚合 CPU 时间。如果 CPU 时间不是由少数几个 SQL 贡献，按 SQL 聚 合并不能有效发现问题。从 v8.4.0 开始，你可以选择 By TABLE 或者 By DB 聚合 CPU 时间。在多系统融合的 场景下，新的聚合方式能够更有效地识别来自某个特定系统的负载变化，提升问题诊断的效率。 Y 向量函数和操作符 E N N N N N N N N N N N 信息函数 Y Y Y Y Y Y Y Y Y Y Y Y JSON 函数 Y Y Y Y Y Y Y E E E E E 聚合函数 Y Y Y Y Y Y Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y Y Y Y Y Y Y 操作符 Y Y Y Y

href="https://docs.pingcap.com/zh/tidb/v8.4/top-sql#使用-top-sql">按表或数据库维度聚合 �→ TiKV 消耗的 CPU 时间 当热点问题不是由个别 SQL 语句引起时，利用 Top SQL 中按表或者数据库聚合的 CPU 时间， �→ 能够协助用户快速发现造成热点的表或者应用程序，从而大大提升热点问题和 CPU �→ 消耗问题的诊断效率。 支持按表或数据库维度查看 CPU 时间的聚合结果 #55540 @nolouch 在 v8.4.0 之前，Top SQL 以 SQL 为单位来聚合 CPU 时间。如果 CPU 时间不是由少数几个 SQL 贡献，按 SQL 聚 合并不能有效发现问题。从 v8.4.0 开始，你可以选择 By TABLE 或者 By DB 聚合 CPU 时间。在多系统融合的 场景下，新的聚合方式能够更有效地识别来自某个特定系统的负载变化，提升问题诊断的效率。 Y 向量函数和操作符 E N N N N N N N N N N N 信息函数 Y Y Y Y Y Y Y Y Y Y Y Y JSON 函数 Y Y Y Y Y Y Y E E E E E 聚合函数 Y Y Y Y Y Y Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y Y Y Y Y Y Y 操作符 Y Y Y Y

Cast 函数和操作符 Y Y Y Y Y Y 加密和压缩函数 Y Y Y Y Y Y 信息函数 Y Y Y Y Y Y JSON 函数 实验特性 实验特性 实验特性 实验特性 实验特性 实验特性 聚合函数 Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y 操作符 Y Y Y Y Y Y 字符集和排序规则 1 Y Y Y Y Y Y 2.3.2 索引和约束 metrics_summary 用于汇总所有监控数据，以提升用户排查各监控指标 的效率。 • 监控汇总并按 label 聚合表information_schema.metrics_summary_by_label 同样用于汇总所有监控数据， 但该表会对各项监控的不同的 label 进行聚合统计。 8.3.3 自动诊断 以上集群信息表和集群监控表均需要用户手动执行 SQL 语句来排查集群问题。TiDB statements_summary 用于保存 SQL 监控指标聚合后的结果。一般来说，每一项监控指标都包含平均值和最大 值。例如执行延时对应 AVG_LATENCY 和 MAX_LATENCY 两个字段，分别是平均延时和最大延时。 为了监控指标的即时性，statements_summary 里的数据定期被清空，只展现最近一段时间内的聚合结果。清 空周期由系统变量 tidb_stmt_summary_refresh_interval

db_dml_type-从-v800- �→ 版本开始引入">用于处理更大事务的批量 DML 执行方式（实验特性） 大批量的 DML 任务，例如大规模的清理任务、连接或聚合，可能会消耗大量内存， �→ 并且在非常大的规模上受到限制。批量 DML (tidb_dml_type = "bulk") 是一种新的 �→ DML 类型，用于更高效地处理大批量 goroutine 可能泄露的问题 #50841 @wshwsh12 – 修复 CTE 查询使用的内存超限时可能会导致 goroutine 泄露的问题 #50337 @guo-shaoge – 修复使用聚合函数分组计算时可能报错 Can't find column ... 的问题 #50926 @qw4990 – 修复当 CREATE TABLE 语句中包含特定分区或约束的表达式时，表名变更等 DDL Y 加密和压缩函数 Y Y Y Y Y Y Y Y Y Y Y Y 信息函数 Y Y Y Y Y Y Y Y Y Y Y Y JSON 函数 Y Y Y Y Y E E E E E E E 聚合函数 Y Y Y Y Y Y Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y Y Y Y Y Y Y 操作符 Y Y Y Y

- �→ 版本开始引入">用于处理更大事务的批量 DML 执行方式（实验特性，从 v8.0.0 开始引入） 大批量的 DML 任务，例如大规模的清理任务、连接或聚合，可能会消耗大量内存， �→ 并且在非常大的规模上受到限制。批量 DML (tidb_dml_type = "bulk") 是一种新的 �→ DML 类型，用于更高效地处理大批量 函数和操作符 Y Y Y Y Y Y Y Y Y 加密和压缩函数 Y Y Y Y Y Y Y Y Y 信息函数 Y Y Y Y Y Y Y Y Y JSON 函数 Y Y Y Y E E E E E 聚合函数 Y Y Y Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y Y Y Y 操作符 Y Y Y Y Y Y Y Y Y 字符集和排序规则 场景信息，请参阅 PingCAP 官网中关于 HTAP 的博客。 当遇到以下技术场景时，建议使用 TiDB HTAP 提升 TiDB 数据库整体表现： • 提升分析性能 你的业务中存在某些复杂的分析查询，如聚合、关联等操作。当这些分析查询涉及大量数据（超过 1000 万行）时，如果查询涉及的表无法有效利用索引或者索引的选择性较差，而行存储引擎TiKV 难以满足查 询的性能需求。 • 混合负载隔离 在高并发的