TiDB在⾦金金融聚合⽀支付业务的实践 个⼈人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关⼯工作、数据库⾃自动化运维建设 TiDB在Ping++⾦金金融聚合⽀支付业务的实践 • TiDB在Ping++的应⽤用场景分析 - OLAP：saas服务下实时数仓的⽀支撑 - HTAP：基于TiDB Docker的聚合⽀支付私有化部署⽅方案 分布式，海海量量数据实时查询性能 • ⾃自动failover的⾼高可⽤用 场景⼆二：聚合⽀支付私有化部署⽅方案 服务私有化部署的数据库要求： • 脱离云产品：DRDS • oltp+olap • 海海量量交易易下的单表性能：分库分表？ • ⾼高可⽤用：MHA？Innodb Cluster? • 监控、运维⽅方式简单⾼高效 场景⼆二：聚合⽀支付私有化部署⽅方案 基于TiDB Docker的HTAP⼀一站式⽅方案

本文档使用 书栈(BookStack.CN) 构建 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 TiDB SQL 语法图 JSON 时，唯一索引约束不被检查以加速导入速度。 这个变量不对外用，只是给 lightning 使用，请用户不要自行修改。 作用域: SESSION 默认值: 0 这个变量用来设置优化器是否执行聚合函数下推到 Join 之前的优化操作。 当查询中聚合操作执行很慢时，可以尝试设置该变量为 1。 TiDB 专用系统变量和语法 System Variable tidb_snapshot tidb_import_data ti

href="https://docs.pingcap.com/zh/tidb/v8.4/top-sql#使用-top-sql">按表或数据库维度聚合 �→ TiKV 消耗的 CPU 时间 当热点问题不是由个别 SQL 语句引起时，利用 Top SQL 中按表或者数据库聚合的 CPU 时间， �→ 能够协助用户快速发现造成热点的表或者应用程序，从而大大提升热点问题和 CPU �→ 消耗问题的诊断效率。 支持按表或数据库维度查看 CPU 时间的聚合结果 #55540 @nolouch 在 v8.4.0 之前，Top SQL 以 SQL 为单位来聚合 CPU 时间。如果 CPU 时间不是由少数几个 SQL 贡献，按 SQL 聚 合并不能有效发现问题。从 v8.4.0 开始，你可以选择 By TABLE 或者 By DB 聚合 CPU 时间。在多系统融合的 场景下，新的聚合方式能够更有效地识别来自某个特定系统的负载变化，提升问题诊断的效率。 Y 向量函数和操作符 E N N N N N N N N N N N 信息函数 Y Y Y Y Y Y Y Y Y Y Y Y JSON 函数 Y Y Y Y Y Y Y E E E E E 聚合函数 Y Y Y Y Y Y Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y Y Y Y Y Y Y 操作符 Y Y Y Y

href="https://docs.pingcap.com/zh/tidb/v8.4/top-sql#使用-top-sql">按表或数据库维度聚合 �→ TiKV 消耗的 CPU 时间 当热点问题不是由个别 SQL 语句引起时，利用 Top SQL 中按表或者数据库聚合的 CPU 时间， �→ 能够协助用户快速发现造成热点的表或者应用程序，从而大大提升热点问题和 CPU �→ 消耗问题的诊断效率。 支持按表或数据库维度查看 CPU 时间的聚合结果 #55540 @nolouch 在 v8.4.0 之前，Top SQL 以 SQL 为单位来聚合 CPU 时间。如果 CPU 时间不是由少数几个 SQL 贡献，按 SQL 聚 合并不能有效发现问题。从 v8.4.0 开始，你可以选择 By TABLE 或者 By DB 聚合 CPU 时间。在多系统融合的 场景下，新的聚合方式能够更有效地识别来自某个特定系统的负载变化，提升问题诊断的效率。 Y 向量函数和操作符 E N N N N N N N N N N N 信息函数 Y Y Y Y Y Y Y Y Y Y Y Y JSON 函数 Y Y Y Y Y Y Y E E E E E 聚合函数 Y Y Y Y Y Y Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y Y Y Y Y Y Y 操作符 Y Y Y Y

agg_ �→ spill-从-v800-版本开始引入">并行 HashAgg 算法支持数据落盘成为正式功能 (GA) HashAgg 是 TiDB 中常用的聚合算子，用于快速聚合具有相同字段值的行。TiDB v8.0.0 引入并行 �→ HashAgg 作为实验特性，以进一步提升处理速度。当内存资源不足时，并行 HashAgg �→ 可以将临时排序数据落盘，避免因内存使用过度而导致的 的表达式匹 配多列索引的逻辑，使其能生成更加精准的 Range #41598 @ghazalfamilyusa – 优化对大数据量的表进行简单查询时获取数据分布信息的性能 #53850 @you06 – 聚合的结果集能够作为 IndexJoin 的内表，使更多的复杂查询可以匹配到 IndexJoin，从而可以通过索 引提升查询效率 #37068 @elsa0520 – 通过批量删除 TiFlash placement 算子中对于 Join Key 的冗余拷贝 #9057 @gengliqi – 将 HashAgg 算子中转换两级哈希表的过程并行化 #8956 @gengliqi – 移除 HashAgg 算子的冗余的聚合函数以减少计算开销 #8891 @guo-shaoge • Tools – Backup & Restore (BR) * 优化备份功能，提升在大量表备份过程中遇到节点重启、扩容或网络抖动时的备份性能和稳

git ⼀样好用。 业务层  服务管理：实现服务 CRUD，域名 CRUD，服务健康状态检查，服务权重管理等功能。  配置管理：实现配置管 CRUD，版本管理，灰度管理，监听管理，推送轨迹，聚合数据等功能。  元数据管理：提供元数据 CURD 和打标能力，为实现上层流量和服务灰度非常关键。 19 > Nacos 架构 内核层  插件机制：实现三个模块可分可合能力，实现扩展点 SPI eper 在写性能上似乎能达到上万的 TPS，这得益于 Zookeeper 精巧的设计，不过这显然是因为有⼀系列的前提存在。首先 Zookeeper 的写逻辑就是 进行 K-V 的写入，内部没有聚合；其次 Zookeeper 舍弃了服务发现的基本功能如健康检查、友好 的查询接口，它在支持这些功能的时候，显然需要增加⼀些逻辑，甚至弃用现有的数据结构；最后， Paxos 协议本身就限制了 Zookeeper 首先是双机房容灾，基于 Leader 写的协议不做改造是无法支持的，这意味着 Zookeeper 不能在 没有人工干预的情况下做到双机房容灾。在单机房断网情况下，使机房内服务可用并不难，难的是 如何在断网恢复后做数据聚合，Zookeeper 的单点写模式就会有断网恢复后的数据对账问题。Eure ka 的部署模式天然支持多机房容灾，因为 Eureka 采用的是纯临时实例的注册模式：不持久化、所 有数据都可以通过客

complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 混合云全栈可观测架构 〔分布式〕 流量分析 解析 聚合 关联 压缩 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生，水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据 complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 混合云全栈可观测架构 〔分布式〕 流量分析 解析 聚合 关联 压缩 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生，水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据

技术总监查看用户、查看权限了，需要在相关代码中把技术总监角色从判断逻辑中删除掉； 即粒度是以角色为单位进行访问控制的，粒度较粗；如果进行修改可能造成多处代码修改。 显示角色：在程序中通过权限控制谁能访问某个资源，角色聚合一组权限集合；这样假设 哪个角色不能访问某个资源，只需要从角色代表的权限集合中移除即可；无须修改多处代 码；即粒度是以资源/实例为单位的；粒度较细。 跟我学 Shiro——http://jinnianshilongnian 因为我们可以在 Shiro 中同时配置多个 Realm，所以呢身份信息可能就有多个；因此其提供 了 PrincipalCollection 用于聚合这些身份信息： 因为 PrincipalCollection 聚合了多个，此处最需要注意的是 getPrimaryPrincipal，如果只有一 个 Principal 那么直接返回即可，如果有多个 Principal，则返回第一个（因为内部使用 Realm 名字获取身份，因为 Realm 名字可以重复，所以可能多个身份，建议 Realm 名 字尽量不要重复。 AuthorizationInfo AuthorizationInfo 用于聚合授权信息的： 当 我 们 使 用 AuthorizingRealm 时 ， 如 果 身 份 验 证 成 功 ， 在 进 行 授 权 时 就 通 过 doGetAuthorizationInfo

https://linkerd.io/2016/03/16/beyond-round- robin-load-balancing-for-latency/ ● 流控 ● 请求鉴权 ● 请求参数校验 ● 业务聚合 ● 支持自定义中间件 api gateway层 ● Google SRE算法 ● 放弃了Netflix Hystrix算法 ● 基于滑动窗口（10秒/40窗口） ● 支持自定义触发条件

服务之间没有互相依赖 • 日志、性能指标都在单个主 机问题一：什么是用户想要的监控 什么是用户想要的监控？分布式监控的三个维度 Metrics Logging Tracing 指标监控 • 指标可被聚合 • 体现系统性能趋势 分布式追踪 • 和请求相关 • HTTP • SQL 日志系统 • 代码逻辑处理事件 • 异常、debug信息容器化和微服务下的监控需求 微观下的监控需求