TiDB在⾦金金融聚合⽀支付业务的实践 个⼈人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关⼯工作、数据库⾃自动化运维建设 TiDB在Ping++⾦金金融聚合⽀支付业务的实践 • TiDB在Ping++的应⽤用场景分析 - OLAP：saas服务下实时数仓的⽀支撑 - HTAP：基于TiDB Docker的聚合⽀支付私有化部署⽅方案 • ⾃自动failover的⾼高可⽤用 场景⼆二：聚合⽀支付私有化部署⽅方案 服务私有化部署的数据库要求： • 脱离云产品：DRDS • oltp+olap • 海海量量交易易下的单表性能：分库分表？ • ⾼高可⽤用：MHA？Innodb Cluster? • 监控、运维⽅方式简单⾼高效 场景⼆二：聚合⽀支付私有化部署⽅方案 基于TiDB Docker的HTAP⼀一站式⽅方案

京银行分布式核心系统采用“微服务架构 + 分布式数据库”的建设方案，构建起一套支持高并发、高可用 、可横向扩展的分布式核心系统解决方案。 2018 年起，该分布式核心系统对接网联支付清算平台、银联无卡快捷支付平台、金融服务互联平台、网 贷业务平台等多个核心金融业务场景，实现了将分布式数据库解决方案应用于银行核心类业务场景。 ED [L 上 罗 北京在两地三中心部署 TiDB 集群，采用主从的多活架构，主集群作为生产集群承担日常的生产服务， 主从之间采用 Kafka 同步 Binlog 的形式进行数据同步。 北京银行首先在网联支付清算平台和银联无卡快捷支付系统引入 TiDB 分布式数据库，以便更好地迎接 互联网金融带来的大数据量和高并发的挑战。系统投产之后，已经成功应对两次双十一挑战，2019 年 双十一闫峰的 QPS 达到 7500，是平时 IT 团队进行多次线上的运维操作，包括版本升级、打补丁等，利用TiDB 分布式 数据库的多副本特性实现“运维零中断”的操作。随着系统升级，北京银行的网联业务链，包括上游的手 机银行到网联、银联无卡快捷支付业务中台，到后台的金融日历、查询服务都已经进行了分布式架构的升 级，完成了与TiDB 的对接。 用户收益 北京银行分布式核心系统建设项目荣获 2020 年度亚洲银行家“中国最佳核心银行技术实施"大奖，从四个

本文档使用 书栈(BookStack.CN) 构建 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 TiDB SQL 语法图 JSON 一面数据 凤凰网 猿辅导 Mobikok 二维火 客如云 Ping++ 乐视云 零氪科技 威锐达测控 盖娅互娱 游族网络 西山居 FUNYOURS JAPAN 万达网络 佐助金融 360金融 中国电信翼支付 某电信运营商 更多资源 常用工具 PingCAP 团队技术博客 知乎专栏 Weekly 英文文档 README - 10 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 是 PingCAP

2.4 提升改进 • TiDB – 支持将内置函数 json_unquote() 下推到 TiKV #24415 – 支持在 Dual 表上移除 Union 算子的优化 #25614 – 优化聚合算子的代价常数 #25241 – 允许 MPP outer join 根据表行数选择构建表 #25142 – 支持 MPP 查询任务按 Region 均衡到不同 TiFlash 节点上 #24724 split 失败而不断重启的问题 – 修复无法删除 Delta 历史数据的潜在问题 – 修复在 CAST 函数中为非二进制字符串填充错误数据的问题 – 修复处理包含复杂 GROUP BY 列的聚合查询时结果不正确的问题 – 修复写入压力过大时出现进程崩溃的问题 – 修复右连接键不为空且左连接键可为空时进程崩溃的问题 – 修复 read-index 请求耗时长的潜在问题 – 修复读负载高的情况下进程崩溃的问题 位函数和操作符 Y Y Y Y Cast 函数和操作符 Y Y Y Y 加密和压缩函数 Y Y Y Y 信息函数 Y Y Y Y JSON 函数 实验特性 实验特性 实验特性 实验特性 聚合函数 Y Y Y Y 窗口函数 Y Y Y Y 其他函数 Y Y Y Y 操作符 Y Y Y Y 字符集和排序规则 1 Y Y Y Y 2.3.2 索引和约束 索引和约束 5.2 5.1

位函数和操作符 Y Y Y Y Cast 函数和操作符 Y Y Y Y 加密和压缩函数 Y Y Y Y 信息函数 Y Y Y Y JSON 函数 实验特性 实验特性 实验特性 实验特性 聚合函数 Y Y Y Y 窗口函数 Y Y Y Y 其他函数 Y Y Y Y 操作符 Y Y Y Y 字符集和排序规则 1 Y Y Y Y 2.3.2 索引和约束 索引和约束 5.2 5.1 metrics_summary 用于汇总所有监控数据，以提升用户排查各监控指标 的效率。 • 监控汇总并按 label 聚合表information_schema.metrics_summary_by_label 同样用于汇总所有监控数据， 但该表会对各项监控的不同的 label 进行聚合统计。 8.3.3 自动诊断 以上集群信息表和集群监控表均需要用户手动执行 SQL 语句来排查集群问题。TiDB statements_summary 用于保存 SQL 监控指标聚合后的结果。一般来说，每一项监控指标都包含平均值和最大 值。例如执行延时对应 AVG_LATENCY 和 MAX_LATENCY 两个字段，分别是平均延时和最大延时。 为了监控指标的即时性，statements_summary 里的数据定期被清空，只展现最近一段时间内的聚合结果。清 空周期由系统变量 tidb_stmt_summary_refresh_interval

数学函数：ROUND(decimal, int) * 日期时间函数：HOUR()，MICROSECOND()，MINUTE()，SECOND()，SYSDATE() * 类型转换函数：CAST(time, real) * 聚合函数：GROUP_CONCAT()，SUM(enum) – 提供了 512 位 SIMD 支持 – 增强了对过期的数据版本的清理算法，减少磁盘使用量及提高读文件性能 – 解决了用户在某些非 Linux #2735 #1606 #3000 #2985 #2156 * 当同步任务状态正常时，不再显示历史错误信息，避免误导用户 #2242 2.2.6 Bug 修复 • TiDB – 修复在分区中下推聚合算子时，因浅拷贝 schema 列导致执行计划出错，进而导致执行时报错的问 题 #27797 #26554 – 修复 plan cache 无法感知 unsigned 标志变化的问题 #28254 #27429 – 修复 extract 函数处理负值时的问题 #27236 – 修复当设置 NO_UNSIGNED_SUBTRACTION 时创建分区失败的问题 #26765 – 避免在列修剪和聚合下推中使用有副作用的表达式 #27106 – 删除无用的 gRPC 日志 #24190 – 限制有效的小数点长度以修复精度相关的问题 #3091 – 修复 plus 表达式中检查溢出方法出错的问题

href="https://docs.pingcap.com/zh/tidb/v8.4/top-sql#使用-top-sql">按表或数据库维度聚合 �→ TiKV 消耗的 CPU 时间 当热点问题不是由个别 SQL 语句引起时，利用 Top SQL 中按表或者数据库聚合的 CPU 时间， �→ 能够协助用户快速发现造成热点的表或者应用程序，从而大大提升热点问题和 CPU �→ 消耗问题的诊断效率。 支持按表或数据库维度查看 CPU 时间的聚合结果 #55540 @nolouch 在 v8.4.0 之前，Top SQL 以 SQL 为单位来聚合 CPU 时间。如果 CPU 时间不是由少数几个 SQL 贡献，按 SQL 聚 合并不能有效发现问题。从 v8.4.0 开始，你可以选择 By TABLE 或者 By DB 聚合 CPU 时间。在多系统融合的 场景下，新的聚合方式能够更有效地识别来自某个特定系统的负载变化，提升问题诊断的效率。 Y 向量函数和操作符 E N N N N N N N N N N N 信息函数 Y Y Y Y Y Y Y Y Y Y Y Y JSON 函数 Y Y Y Y Y Y Y E E E E E 聚合函数 Y Y Y Y Y Y Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y Y Y Y Y Y Y 操作符 Y Y Y Y

href="https://docs.pingcap.com/zh/tidb/v8.4/top-sql#使用-top-sql">按表或数据库维度聚合 �→ TiKV 消耗的 CPU 时间 当热点问题不是由个别 SQL 语句引起时，利用 Top SQL 中按表或者数据库聚合的 CPU 时间， �→ 能够协助用户快速发现造成热点的表或者应用程序，从而大大提升热点问题和 CPU �→ 消耗问题的诊断效率。 支持按表或数据库维度查看 CPU 时间的聚合结果 #55540 @nolouch 在 v8.4.0 之前，Top SQL 以 SQL 为单位来聚合 CPU 时间。如果 CPU 时间不是由少数几个 SQL 贡献，按 SQL 聚 合并不能有效发现问题。从 v8.4.0 开始，你可以选择 By TABLE 或者 By DB 聚合 CPU 时间。在多系统融合的 场景下，新的聚合方式能够更有效地识别来自某个特定系统的负载变化，提升问题诊断的效率。 Y 向量函数和操作符 E N N N N N N N N N N N 信息函数 Y Y Y Y Y Y Y Y Y Y Y Y JSON 函数 Y Y Y Y Y Y Y E E E E E 聚合函数 Y Y Y Y Y Y Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y Y Y Y Y Y Y 操作符 Y Y Y Y

Cast 函数和操作符 Y Y Y Y Y Y 加密和压缩函数 Y Y Y Y Y Y 信息函数 Y Y Y Y Y Y JSON 函数 实验特性 实验特性 实验特性 实验特性 实验特性 实验特性 聚合函数 Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y 操作符 Y Y Y Y Y Y 字符集和排序规则 1 Y Y Y Y Y Y 2.3.2 索引和约束 metrics_summary 用于汇总所有监控数据，以提升用户排查各监控指标 的效率。 • 监控汇总并按 label 聚合表information_schema.metrics_summary_by_label 同样用于汇总所有监控数据， 但该表会对各项监控的不同的 label 进行聚合统计。 8.3.3 自动诊断 以上集群信息表和集群监控表均需要用户手动执行 SQL 语句来排查集群问题。TiDB statements_summary 用于保存 SQL 监控指标聚合后的结果。一般来说，每一项监控指标都包含平均值和最大 值。例如执行延时对应 AVG_LATENCY 和 MAX_LATENCY 两个字段，分别是平均延时和最大延时。 为了监控指标的即时性，statements_summary 里的数据定期被清空，只展现最近一段时间内的聚合结果。清 空周期由系统变量 tidb_stmt_summary_refresh_interval

db_dml_type-从-v800- �→ 版本开始引入">用于处理更大事务的批量 DML 执行方式（实验特性） 大批量的 DML 任务，例如大规模的清理任务、连接或聚合，可能会消耗大量内存， �→ 并且在非常大的规模上受到限制。批量 DML (tidb_dml_type = "bulk") 是一种新的 �→ DML 类型，用于更高效地处理大批量 goroutine 可能泄露的问题 #50841 @wshwsh12 – 修复 CTE 查询使用的内存超限时可能会导致 goroutine 泄露的问题 #50337 @guo-shaoge – 修复使用聚合函数分组计算时可能报错 Can't find column ... 的问题 #50926 @qw4990 – 修复当 CREATE TABLE 语句中包含特定分区或约束的表达式时，表名变更等 DDL Y 加密和压缩函数 Y Y Y Y Y Y Y Y Y Y Y Y 信息函数 Y Y Y Y Y Y Y Y Y Y Y Y JSON 函数 Y Y Y Y Y E E E E E E E 聚合函数 Y Y Y Y Y Y Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y Y Y Y Y Y Y 操作符 Y Y Y Y