PING++ ## TiDB在金融聚合支付业务的实践  ## 个人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关工作、数据库自动化运维建设 ## TiDB在Ping++金融聚合支付业务的实践 • TiDB在Ping++的应用场景分析 TiDB在Ping++的应用场景分析 - OLAP: saas服务下实时数仓的支撑 - HTAP：基于TiDB Docker的聚合支付私有化部署方案 - 关于TiDB的线上运维 - TiDB体系 - 业务零感知运维 ## Ping++原数据架构及瓶颈  815ed87beb3fc1f49/p6_2.jpg) ## 场景二：聚合支付私有化部署方案 服务私有化部署的数据库要求： - 脱离云产品：DRDS • oltp+olap • 海量交易下的单表性能：分库分表? - 高可用：MHA? Innodb Cluster? • 监控、运维方式简单高效 ## 场景二：聚合支付私有化部署方案 ## 基于TiDB Docker的HTAP一站式方案

76b3d4f40b277dfbb64/p18_2.jpg) ## 步骤三：识别聚合 ## 什么是聚合 在领域驱动设计中，聚合是一组相关领域对象，其目的是要确保业务规则在领域对象的各个生命周期都得以执行： ▶ 聚合边界内保证业务不变性 (invariant) ▶ 只能通过聚合根修改边界内的对象 ▶ 聚合根有全局标识 ![Image](/uploads/documents/1/4/0/ 领域驱动设计使用分层架构来隔离不同功能模块之间的耦合性； - 使用实体，值对象和服务来表达领域模型； - 聚合对实体和值对象进行封装，对一个聚合内的所有对象统一维护其生命周期，实体可以作为聚合根存在； - 工厂对实体，值对象以及聚合的创建进行封装 - 资源库对聚合，实体的存取方法进行封装； - 工厂和资源库都是基于聚合根的。 ![Image](/uploads/documents/1/4/0/9/1409

ongoDB手册中Atomicity。 数据聚集 使用mongo命令行进行数据聚合 o 概述 按字段分组并计算总数 过滤并分组文档 使用mongo命令行进行数据聚合 概述 MongoDB可以执行数据聚合，比如按指定Key分组，计算总数，求不同分组的值。 使用 aggregate() 方法执行一个基于步骤的聚合操作（类似于Linux管道）。 aggregate() 接收一个步骤数组成为它的参数，每个步骤描述对数据处理的操作。

关于Doris的更多技术细节，可参考其官方文档。 ## Doris的特点： • 同时支持高并发点查询和高吞吐的Ad-hoc查询。 • 同时支持离线批量导入和实时数据导入。 • 同时支持明细和聚合查询。 • 兼容MySQL协议和标准SQL。 - 支持Rollup Table和Rollup Table的智能查询路由。 - 支持较好的多表Join策略和灵活的表达式查询。 • 支持Schema在线变更。 显然，上面的计算方式，当数据量越来越大，到几十亿几百亿时，使用的IO资源、CPU资源、内存资源、网络资源会变得越来越多，查询也会变得越来越慢。 于是我们在Doris中新增了一种Bitmap聚合指标，数据导入时，相同维度列的数据会使用Bitmap聚合。有了Bitmap后，Doris中计算精确去重的方式如下： 可以看到，当使用Bitmap之后，之前的PV计算过程会大幅简化，现场查询时的IO、CPU、内存，网络资源也会显

DDD的核心是领域模型吗？ 应该全面采用DDD战术建模吗？ 具有生命周期绑定的主从关系对象就是聚合吗？  ## 内容大纲 • 战略的坑 - 分析的坑 - 限界上下文的坑 • 聚合的坑 • 仓储的坑 ## 战略的坑 ## 无差别地全面采用DDD战术建模 5e32a8af9b45925f095fdae/p11_2.jpg) 用例模型的操作 领域模型的结构 完整现实的样子 理由一：会有很多用不上的属性和方法，产生不必要的复杂性 理由二：聚合的大小等同于原子不变性约束的边界大小，这与现实世界概念模型的边界也是不一致的 ## 作茧自缚的抽象  超过“Two Pizza”，你的UL规模会很难hold住 ## 聚合的坑 ## 过大的聚合 开始事务 一致性边界=聚合边界 AGR DO1 结束事务 DO2 大聚合带来的问题: • 数据难以分离和扩容 • 性能问题 • 并发冲突问题 ## 如果： AGR存在属性X DO1存在属性Y DO2存在属性Z

9613708a3c2/p9_2.jpg) ## 交易系统架构设计-关键点 • 内存撮合服务的状态持久化和高可用 消息处理顺序的保证 • 异步服务之间消息传送的可靠性 • K线：实时的分组聚合操作 • 高效利用关系数据库  ## nts/0/1/a/3/01a3b6e6a4062a56456d19613708a3c2/p12_2.jpg) ## 交易系统架构设计-计算K线 ### - 实现为Redis Module的流式聚合组件(https://github.com/cryptorelay/redis-aggregation) $ redis-cli > agg.new agg{btc_usdt} time price

14. 配置导出/导入 ..... 652 1 主机组 ..... 653 2 模板 ..... 653 3 主机 ..... 688 4 网络拓扑图 ..... 728 5 聚合图形 ..... 747 15. 发现 ..... 758 1 网络发现 ..... 758 2 自动注册 ..... 770 3 自动发现 (LLD) ..... 772 CPU (remote command) - 一个预定义好的，满足一些条件的情况下，可以在被监控主机上自动执行的命令 模版 (template) - 一组可以被应用到一个或多个主机上的实体（监控项，触发器，图形，聚合图形，应用，LLD，Web 场景）的集合 模版的任务就是加快对主机监控任务的实施；也可以使监控任务的批量修改更简单。模版是直接关联到每台单独的主机上。 应用 (application) - 一组监控项组成的逻辑分组 目时，才能添加它们。 添加聚合图形 To add screens to a template in Configuration → Templates, do the following: 要在配置 → 模板中向屏幕添加聚合图形，请执行以下操作： • Click on Screens in the row of the template • 点击模板行中的聚合图形 • Configure

SQL手册 数据类型 字面常量 SQL操作符 别名 SQL手册 注释 语法帮助 DML DDL 信息查看语句 辅助命令 账户管理 内置函数 聚合函数 位操作函数 字符串函数 条件函数 数学函数 JSON解析函数 类型转换函数 格式转换函数 通用函数 时间和日期函数 Bitmap函数 HLL函数 类型只能用于聚合类型的表（Aggregation Table），并且必须指定聚合类型为 HLL_UNION。 HLL 类型主要用于非精确快速去重场景下，对数据进行预聚合。 HLL列只能通过配套的 hll_union_agg、hll_cardinality、hll_hash 进行查询或使用。 ## Bitmap 数据类型 BITMAP 类型是一个二进制类型。BITMAP 类型只能用于聚合类型的表（Aggregation 类型只能用于聚合类型的表（Aggregation Table），并且必须指定聚合类型为 BITMAP_UNION。 Bitmap 类型主要用于精确去重场景下，对数据进行预聚合。同时也可以用于如用户画像场景存放用户ID等。 Bitmap 列只能通过配套的 BITMAP 函数进行查询和使用。 ## 字面常量 Doris中的每种数据类型都会对应着一种该类型的Literal。用户可以在SQL语句中指定Literal，比如在