TiDB 可观测性的设计与实现 陈霜TiDB 可观测性 的设计与实现 – 陈霜 About me ● 陈霜, TiDB Insight R&G Engineer, PingCAP ● chenshuang@pingcap.com ● Github: crazycs520 Agenda ● TopSQL: Bind SQL With CPU Resources ● System Table0 码力 | 39 页 | 3.97 MB | 1 年前3- Apache ShardingSphere 中文文档 5.0.0。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy，并采用同一注册中心统一配置分片策略，能够灵活的搭建适用于各种场景的应 用系统，使得架构师更加自由地调整适合与当前业务的最佳系统架构。 1.1. 简介 4 Apache ShardingSphere document 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 防 火 墙 （TODO） 高可用 1.2. 解决方案 5 Apache ShardingSphere document, v5 。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy，并采用同一注册中心统一配置分片策略，能够灵活的搭建适用于各种场景的应 用系统，使得架构师更加自由地调整适合与当前业务的最佳系统架构。 3.1. 接入端 12 Apache ShardingSphere document0 码力 | 385 页 | 4.26 MB | 1 年前3
- Apache ShardingSphere 中文文档 5.0.0-alpha进行管理和运维的场景。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy，并采用同一注册中心统一配置分片策略，能够灵活的搭建适用于各种场景的应 用系统，使得架构师更加自由地调整适合与当前业务的最佳系统架构。 1.2 功能列表 1.2.1 数据分片 • 分库 & 分表 • 读写分离 • 在繁琐的数据分片规则配置中，随着数据节点的增多，大量的重复配置使得配置本身不易被维护。通过 行表达式可以有效地简化数据节点配置工作量。 对于常见的分片算法，使用 Java 代码实现并不有助于配置的统一管理。通过行表达式书写分片算法，可 以有效地将规则配置一同存放，更加易于浏览与存储。 语法说明 行表达式的使用非常直观，只需要在配置中使用 ${ expression } 或 $->{ expression SQL 改写 将 SQL 改写为在真实数据库中可以正确执行的语句。SQL 改写分为正确性改写和优化改写。 SQL 执行 通过多线程执行器异步执行。 结果归并 将多个执行结果集归并以便于通过统一的 JDBC 接口输出。结果归并包括流式归并、内存归并和使用装饰 者模式的追加归并这几种方式。 解析引擎 相对于其他编程语言，SQL 是比较简单的。不过，它依然是一门完善的编程语言，因此对 SQL0 码力 | 301 页 | 3.44 MB | 1 年前3
- TiDB v8.5 中文手册的核心功能之一，向量搜索可用于检索增强生成 (Retrieval-Augmented Generation, RAG)、 �→ 语义搜索、推荐系统等多种场景。 40
数据库管理和可观测性 在内存表中显示 �→ TiKV 和 TiDB 的 CPU 时间 将 CPU 时间合入系统表中展示，与会话或 SQL 的其他指标并列，方便你从多角度对高 CPU �→ 消耗的操作进行观测，提升诊断效率。尤其适用于诊断实例 CPU 飙升或集群读写热点等场景。 0 码力 | 5095 页 | 104.54 MB | 10 月前 353 TiDB v8.4 中文手册的核心功能之一，向量搜索可用于检索增强生成 (Retrieval-Augmented Generation, RAG)、 �→ 语义搜索、推荐系统等多种场景。数据库管理和可观测性 在内存表中显示 �→ TiKV 和 TiDB 的 CPU 时间 将 CPU 时间合入系统表中展示，与会话或 SQL 的其他指标并列，方便你从多角度对高 CPU �→ 消耗的操作进行观测，提升诊断效率。尤其适用于诊断实例 CPU 飙升或集群读写热点等场景。 0 码力 | 5072 页 | 104.05 MB | 10 月前 3 TiDB v8.2 中文手册TiDB �→ 实例启动缓慢的问题，同时也能提升统计信息动态加载的成功率， �→ 从而减少由于统计信息加载失败造成的性能回退，提升集群的稳定性。数据库管理与可观测性 �→ 为切换资源组引入权限控制 及之后版本的集群维持原行为不变。通过设置新增变量tidb_ �→ resource_control_strict_mode 为 ON，来开启上述的增强权限控制。 更多信息，请参考用户文档。 2.2.1.6 可观测性 • 记录执行计划没有被缓存的原因 #50618 @qw4990 在一些场景下，用户希望多数执行计划能够被缓存，以节省执行开销，并降低延迟。目前执行计划缓存 对 SQL 有一定限制，部分形态 SQL 5.0 引入了系统变量tidb_enable_async_merge_global_stats，用于设置 TiDB 使用异步方 式合并分区统计信息，以避免 OOM 问题。在未来版本中，分区统计信息将统一使用异步方式进行 合并，系统变量tidb_enable_async_merge_global_stats 将被废弃。 – 计划在后续版本重新设计执行计划绑定的自动演进，相关的变量和行为会发生变化。0 码力 | 4987 页 | 102.91 MB | 10 月前3 - TiDB v8.1 中文手册�→ 即使没有被规则识别，你仍然可以手动添加查询特征以及采取对应的措施， �→ 从而降低突发的查询性能问题对整个数据库的影响。
数据库管理与可观测性 支持观测索引使用情况（从 v8.0.0 开始引入） 正确的索引设计是提升数据库性能的重要前提。TiDB v8.0.0 引入内存表 0 码力 | 4807 页 | 101.31 MB | 1 年前 3 TiDB v8.0 中文手册ue-从-v800-版本开始引入">优先队列， �→ 使流程更加流畅，并在大量表的情况下提高稳定性。数据库管理与可观测性 支持观测索引使用情况 正确的索引设计是提升数据库性能的重要前提。TiDB v8.0.0 引入内存表 0 码力 | 4805 页 | 101.28 MB | 1 年前 3 TiDB v7.6 中文手册语句可以被显式提交或者回滚。此外，`LOAD DATA` 语句会受 TiDB 事务模式设置（乐观/ �→ 悲观）影响。这些改进简化了数据从 MySQL 到 TiDB 的迁移过程，使得数据导入体验更加统一和可控 �→ 。 更多信息，请参考[用户文档](#load-data)。 2.2.1.6 数据库管理 • 闪回功能支持精确 TSO #48372 @BornChanger 37 TiDB v7 加直观，减轻手动配置的负担，从而提升整体的操作体验。 更多信息，请参考用户文档。 38 2.2.1.7 可观测性 • 增强资源管控相关的观测性 #49318 @glorv @bufferflies @nolouch 随着越来越多用户利用资源组对业务应用进行隔离，资源管控提供了更丰富的基于资源组的数据，协 助你观测资源组负载、资源组设置，确保出现问题时能够快速发现并精准诊断。其中包括： – 慢查询日志增加资源组名称、RU MySQL 的兼容情况，详见GBK 兼容情况。 • TiDB 继承表中使用的字符集作为国家字符集。 2.4.2.12 存储引擎 • 仅在语法上兼容创建表时指定存储引擎，实际上 TiDB 会将元信息统一描述为 InnoDB 存储引擎。TiDB 支 持类似 MySQL 的存储引擎抽象，但需要在系统启动时通过--store 配置项来指定存储引擎。 66 2.4.2.13 SQL 模式 TiDB 支持大部分SQL0 码力 | 4666 页 | 101.24 MB | 1 年前3 TiDB v7.5 中文手册增强了与 MySQL 8.0 的兼容性。现在你可以更轻松地将在 MySQL 8.0 �→ 中使用默认排序规则创建的数据库迁移或复制到 TiDB。数据库管理与可观测性 IMPORT INTO观测性 • TiDB Dashboard 性能分析支持 TiKV 堆内存分析 #15927 @Connor1996 在之前版本中调查 TiKV OOM 或内存使用高的问题时，往往需要在实例环境下手动运行 MySQL 的兼容情况，详见GBK 兼容情况。 • TiDB 继承表中使用的字符集作为国家字符集。 2.4.2.12 存储引擎 • 仅在语法上兼容创建表时指定存储引擎，实际上 TiDB 会将元信息统一描述为 InnoDB 存储引擎。TiDB 支 持类似 MySQL 的存储引擎抽象，但需要在系统启动时通过--store 配置项来指定存储引擎。 56 2.4.2.13 SQL 模式 TiDB 支持大部分SQL0 码力 | 4590 页 | 100.91 MB | 1 年前3共 56 条- 1
- 2
- 3
- 4
- 5
- 6