PING++ ## TiDB在金融聚合支付业务的实践  ## 个人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关工作、数据库自动化运维建设 ## TiDB在Ping++金融聚合支付业务的实践 • TiDB在Ping++的应用场景分析 TiDB在Ping++的应用场景分析 - OLAP: saas服务下实时数仓的支撑 - HTAP：基于TiDB Docker的聚合支付私有化部署方案 - 关于TiDB的线上运维 - TiDB体系 - 业务零感知运维 ## Ping++原数据架构及瓶颈  815ed87beb3fc1f49/p6_2.jpg) ## 场景二：聚合支付私有化部署方案 服务私有化部署的数据库要求： - 脱离云产品：DRDS • oltp+olap • 海量交易下的单表性能：分库分表? - 高可用：MHA? Innodb Cluster? • 监控、运维方式简单高效 ## 场景二：聚合支付私有化部署方案 ## 基于TiDB Docker的HTAP一站式方案

9613708a3c2/p9_2.jpg) ## 交易系统架构设计-关键点 • 内存撮合服务的状态持久化和高可用 消息处理顺序的保证 • 异步服务之间消息传送的可靠性 • K线：实时的分组聚合操作 • 高效利用关系数据库  ## ents/0/1/a/3/01a3b6e6a4062a56456d19613708a3c2/p12_2.jpg) ## 交易系统架构设计-计算K线 ### - 实现为Redis Module的流式聚合组件(https://github.com/cryptorelay/redis-aggregation) $ redis-cli > agg.new agg{btc_usdt} time

76b3d4f40b277dfbb64/p18_2.jpg) ## 步骤三：识别聚合 ## 什么是聚合 在领域驱动设计中，聚合是一组相关领域对象，其目的是要确保业务规则在领域对象的各个生命周期都得以执行： ▶ 聚合边界内保证业务不变性 (invariant) ▶ 只能通过聚合根修改边界内的对象 ▶ 聚合根有全局标识 ![Image](/uploads/documents/1/4/0/ 领域驱动设计使用分层架构来隔离不同功能模块之间的耦合性； - 使用实体，值对象和服务来表达领域模型； - 聚合对实体和值对象进行封装，对一个聚合内的所有对象统一维护其生命周期，实体可以作为聚合根存在； - 工厂对实体，值对象以及聚合的创建进行封装 - 资源库对聚合，实体的存取方法进行封装； - 工厂和资源库都是基于聚合根的。 ![Image](/uploads/documents/1/4/0/9/1409

ongoDB手册中Atomicity。 数据聚集 使用mongo命令行进行数据聚合 o 概述 按字段分组并计算总数 过滤并分组文档 使用mongo命令行进行数据聚合 概述 MongoDB可以执行数据聚合，比如按指定Key分组，计算总数，求不同分组的值。 使用 aggregate() 方法执行一个基于步骤的聚合操作（类似于Linux管道）。 aggregate() 接收一个步骤数组成为它的参数，每个步骤描述对数据处理的操作。

hm，遇到 ClassCastException: Integer can not cast to Long? ..... 286 7.9 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ ..... 286 7.10 Oracle 数据库使用 Timestamp 类型的 OrderBy 语句抛出异常提示 “Order by value must implement 们需要知道数据需要从哪个具体的数据库的分表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下，尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免 SQL 解析 分为词法解析和语法解析。先通过词法解析器将 SQL 拆分为一个个不可再分的单词。再使用语法解析器对 SQL 进行理解，并最终提炼出解析上下文。解析上下文包括表、选择项、排序项、分组项、聚合函数、分页信息、查询条件以及可能需要修改的占位符的标记。 执行器优化 合并和优化分片条件，如 OR 等。 SQL 路由 根据解析上下文匹配用户配置的分片策略，并生成路由路径。目前支持分片路由和广播路由。

240 自动化执行引擎 ..... 241 7.1.11 归并引擎 ..... 244 遍历归并 ..... 245 排序归并 ..... 245 分组归并 ..... 246 聚合归并 ..... 249 分页归并 ..... 249 7.2 分布式事务 ..... 250 7.2.1 导览 ..... 250 7.2.2 XA 事务 ..... 250 7.7.19 19. [其他] 阅读源码时为什么会出现编译错误？IDEA 不索引生成的代码?..292 7.7.20 20. [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常?..293 7.7.21 21. [其他] Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示 "Order by value must 们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下，尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免

10 执行引擎 242 连接模式 242 自动化执行引擎 243 7.2.11 归并引擎 246 遍历归并 247 排序归并 247 分组归并 248 聚合归并 …… 251 分页归并 …… 251 7.3 分布式事务 …… 252 7.3.1 导览 …… 252 7.3.2 XA 事务 …… 252 开启全局事务 中执行不正确，该如何调试？309 7.8.22 [其他] 阅读源码时为什么会出现编译错误？IDEA 不索引生成的代码？310 7.8.23 [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？310 7.8.24 [其他] Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示 “Order by value must implement 们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下，尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免

253 自动化执行引擎 ..... 254 7.2.11 归并引擎 ..... 257 遍历归并 ..... 258 排序归并 ..... 258 分组归并 ..... 259 聚合归并 ..... 262 分页归并 …… 262 7.3 分布式事务 …… 263 7.3.1 导览 …… 263 7.3.2 XA 事务 …… 263 开启全局事务 中执行不正确，该如何调试？321 7.8.22 [其他] 阅读源码时为什么会出现编译错误？IDEA 不索引生成的代码？321 7.8.23 [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？321 7.8.24 [其他] Oracle 数据库使用 Timestamp 类型的 OrderBy 语句抛出异常提示 “Order by value must implement 们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下，尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免