TiDB在⾦金金融聚合⽀支付业务的实践 个⼈人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关⼯工作、数据库⾃自动化运维建设 TiDB在Ping++⾦金金融聚合⽀支付业务的实践 • TiDB在Ping++的应⽤用场景分析 - OLAP：saas服务下实时数仓的⽀支撑 - HTAP：基于TiDB Docker的聚合⽀支付私有化部署⽅方案 分布式，海海量量数据实时查询性能 • ⾃自动failover的⾼高可⽤用 场景⼆二：聚合⽀支付私有化部署⽅方案 服务私有化部署的数据库要求： • 脱离云产品：DRDS • oltp+olap • 海海量量交易易下的单表性能：分库分表？ • ⾼高可⽤用：MHA？Innodb Cluster? • 监控、运维⽅方式简单⾼高效 场景⼆二：聚合⽀支付私有化部署⽅方案 基于TiDB Docker的HTAP⼀一站式⽅方案

本文档使用 书栈(BookStack.CN) 构建 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 TiDB SQL 语法图 JSON 时，唯一索引约束不被检查以加速导入速度。 这个变量不对外用，只是给 lightning 使用，请用户不要自行修改。 作用域: SESSION 默认值: 0 这个变量用来设置优化器是否执行聚合函数下推到 Join 之前的优化操作。 当查询中聚合操作执行很慢时，可以尝试设置该变量为 1。 TiDB 专用系统变量和语法 System Variable tidb_snapshot tidb_import_data ti

complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 混合云全栈可观测架构 〔分布式〕 流量分析 解析 聚合 关联 压缩 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生，水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据 complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 混合云全栈可观测架构 〔分布式〕 流量分析 解析 聚合 关联 压缩 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生，水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据

服务之间没有互相依赖 • 日志、性能指标都在单个主 机问题一：什么是用户想要的监控 什么是用户想要的监控？分布式监控的三个维度 Metrics Logging Tracing 指标监控 • 指标可被聚合 • 体现系统性能趋势 分布式追踪 • 和请求相关 • HTTP • SQL 日志系统 • 代码逻辑处理事件 • 异常、debug信息容器化和微服务下的监控需求 微观下的监控需求

• PageFile/AppendFile/AppendECFile • Segment • 逻辑概念，空间分配的基本单元 （减少元数据数量） • 多个连续地址空间chunk（物理文件）的聚合数据组织形式 • CopySet • 逻辑概念 • 减少元数据数量 • 数据放置的基本单元 • 提高数据可靠性 • 包含多个chunk • 减少复制组数量 类似Ceph中的PG 「Copysets:

微服务的精细管理带来服务的弹性伸缩、开发团队变得敏捷、服务之 间隔离、降低故障率 但是同样的带来的一些问题: 接口之间通用的功能重复开发、膨胀的 服务数量、难以管理 使用API网关模式 使用API网关进行API聚合 使用API网关实现灰度发布 使用API网关实现服务熔断 与传统API网关的功能 • 让 API 请求更安全、更高效的得到处理 • 覆盖 Nginx 的所有功能：反向代理、负载均衡

能力 ，卓越的集群处理能力。同时提供跨行事务处理能力。 我们的数据库能解决什么问题 - 2 ● 高可用、跨数据中心多活 分布式算法 Raft 自动完成多副本写入、数据分片（region）的拆分、聚合、重分布 ，从而保证数据高可用，天然支持跨数据中心多活且可配置。 ● 底层数据打通，集中管控 通过增加节点即可获得无限数据存储能力，从架构层面轻松支持多个业务系统 底层数据打通，便于集中管控，避免信息孤岛，提升数据价值。

VirtualInboundListener，VirtualOutboundListener、OutboundCluster、InboundCluster 等 概念。 为何按端口对 HTTP 的处理进行聚合，而不是为每一个服务创建一个 Listener？ • 降低 Listener 数量和配置大小，减少资源占用 • 兼容 headless 和虚机服务，避免 Listener 配置频繁更新 • 采用七层

在内存里做指标计算聚 合，然后把结果数据推给服务端。因为是 UDP 协议，fire-and-forget，即使 agent 挂了，对业务也没啥影响 • prometheus sdk 作为另一种埋点方式，聚合计算逻辑是在 sdk 里完成，即在业务进程的内存里完成，对此介意 者慎用，然后把指标通过 /metrics 接口暴露，交由监控系统来抓取 • statsd 和 prometheus sdk 都是通用

人工智能模型算法，应符合出口管制要求。 4.1.3 系统安全风险应对 （a）对人工智能技术和产品的原理、能力、适用场景、安全风险适当公开， 对输出内容进行明晰标识，不断提高人工智能系统透明性。 （b）对聚合多个人工智能模型或系统的平台，应加强风险识别、检测、 防护，防止因平台恶意行为或被攻击入侵影响承载的人工智能模型或系统。- 9 - 人工智能安全治理框架 （c）加强人工智能算力平台和系统服务的安全建设、管理、运维能力，