PING++ ## TiDB在金融聚合支付业务的实践  ## 个人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关工作、数据库自动化运维建设 ## TiDB在Ping++金融聚合支付业务的实践 • TiDB在Ping++的应用场景分析 TiDB在Ping++的应用场景分析 - OLAP: saas服务下实时数仓的支撑 - HTAP：基于TiDB Docker的聚合支付私有化部署方案 - 关于TiDB的线上运维 - TiDB体系 - 业务零感知运维 ## Ping++原数据架构及瓶颈  815ed87beb3fc1f49/p6_2.jpg) ## 场景二：聚合支付私有化部署方案 服务私有化部署的数据库要求： - 脱离云产品：DRDS • oltp+olap • 海量交易下的单表性能：分库分表? - 高可用：MHA? Innodb Cluster? • 监控、运维方式简单高效 ## 场景二：聚合支付私有化部署方案 ## 基于TiDB Docker的HTAP一站式方案

，如下图所示： ## 技术权衡 ## MOLAP ：通过预计算，提供稳定的切片数据，实现多次查询一次计算，减轻了查询时的计算压力，保证了查询的稳定性，是“空间换时间”的最佳路径。实现了基于Bitmap的去重算法，支持在不同维度下去重指标的实时统计，效率较高。 ## ROLAP ：基于实时的大规模并行计算，对集群的要求较高。MPP引擎的核心是通过将数据分散，以实现CPU、IO、内存资源的分 高频的大规模汇总统计，并发能力将面临较大挑战，这取决于集群硬件方面的并行计算能力。传统去重算法需要大量计算资源，实时的大规模去重指标对CPU、内存都是一个巨大挑战。目前Doris最新版本已经支持Bitmap算法，配合预计算可以很好地解决去重应用场景。 ## 业务模型适配 MOLAP：当业务分析维度相对固化，并在可以使用历史状态时，按照时间进行增量生产，加工成本呈线性增长状态，数据加工到更粗的粒度 关于Doris的更多技术细节，可参考其官方文档。 ## Doris的特点： • 同时支持高并发点查询和高吞吐的Ad-hoc查询。 • 同时支持离线批量导入和实时数据导入。 • 同时支持明细和聚合查询。 • 兼容MySQL协议和标准SQL。 - 支持Rollup Table和Rollup Table的智能查询路由。 - 支持较好的多表Join策略和灵活的表达式查询。 • 支持Schema在线变更。

76b3d4f40b277dfbb64/p18_2.jpg) ## 步骤三：识别聚合 ## 什么是聚合 在领域驱动设计中，聚合是一组相关领域对象，其目的是要确保业务规则在领域对象的各个生命周期都得以执行： ▶ 聚合边界内保证业务不变性 (invariant) ▶ 只能通过聚合根修改边界内的对象 ▶ 聚合根有全局标识 ![Image](/uploads/documents/1/4/0/ 领域驱动设计使用分层架构来隔离不同功能模块之间的耦合性； - 使用实体，值对象和服务来表达领域模型； - 聚合对实体和值对象进行封装，对一个聚合内的所有对象统一维护其生命周期，实体可以作为聚合根存在； - 工厂对实体，值对象以及聚合的创建进行封装 - 资源库对聚合，实体的存取方法进行封装； - 工厂和资源库都是基于聚合根的。 ![Image](/uploads/documents/1/4/0/9/1409

ongoDB手册中Atomicity。 数据聚集 使用mongo命令行进行数据聚合 o 概述 按字段分组并计算总数 过滤并分组文档 使用mongo命令行进行数据聚合 概述 MongoDB可以执行数据聚合，比如按指定Key分组，计算总数，求不同分组的值。 使用 aggregate() 方法执行一个基于步骤的聚合操作（类似于Linux管道）。 aggregate() 接收一个步骤数组成为它的参数，每个步骤描述对数据处理的操作。

Montgomery Babraham.bioinformatics@babraham.ac.uk ## What is GIMP • GNU Image Manipulation Program •Bitmap Graphics Editor • Open Source • Cross Platform • Not for Vector editing ![Image](/uploads/

first created using Bitmap2component. Bitmap2component creates a page layout description file which is append to the current design, using the Append Page Layout Descr File option. Bitmap2component creates parameters edited. ## Adding image bitmaps You can add an image bitmap using most of bitmap formats (PNG, JPEG, BMP ...). - When a bitmap is imported, its PPI (pixel per inch) definition is set to 300PPI higher definition values brings larger output files, and can have a noticeable draw or plot time. A bitmap can be repeated, but not rotated.

first created using Bitmap2component. Bitmap2component creates a page layout description file which is append to the current design, using the Append Page Layout Descr File option. Bitmap2component creates parameters edited. ## Adding image bitmaps You can add an image bitmap using most of bitmap formats (PNG, JPEG, BMP ...). - When a bitmap is imported, its PPI (pixel per inch) definition is set to 300PPI higher definition values brings larger output files, and can have a noticeable draw or plot time. A bitmap can be repeated, but not rotated.

方案 ● ClickHouse Contributor ● Github: https://github.com/andyyzh 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 ## 3 ## 选择ClickHouse的原因 1. 速度快 2. 特性发布快 3. 软件质量高 4. 物化视图 5. 高基数查询 6. 精确去重计数（count 存储时序数据、cube加速数据，应用于高基数查询、精确去重场景。 ## 运维监控 -- 实时聚合分析监控数据，主要使用物化视图技术。 ## ➢ 用户画像场景 -- 标签数据的存储、用户画像查询引擎。 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 ## 9 ## Bitmap位存储和位计算 每个bit位表示一个数字id，对于40亿个的用户id，只需要40亿bit位，约477m大小 Byte[0] 通过单个 bitmap 可以完成精确去重操作，通过多个 bitmap 的 and、or、xor、andnot 等位操作完成留存分析、漏斗分析、用户画像分析等场景的计算。 但是如果使用上述的数据结构存储单独一个较大数值的数字id，会造成空间上的浪费，例如仅存储40亿一个数值也需要477m的空间。也就是说稀疏的Bitmap和稠密的占用空间相同。通常会使用一种Bitmap压缩算法进行优化。