@2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 （数据共享，存算分离） • 兼容HDFS，NAS，本地磁盘 • 公有云，私有云，混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 （SIMD） • 现代存储技术 • 新硬件的使用 @2022 OpenPie. All rights reserved. OpenPie Confidential

产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩 IvorySQL开源数据库社区 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式 MPP 架构痛点 IvorySQL开源数据库社区 PART 02 云原生数据库 构建新一代云原生存储引擎 • Multi-Could 云上设施 o 对象存储 （数据共享，存算分离） o 兼容 HDFS，NAS，本地磁盘 o 公有云，私有云，混合云 • 现代的硬件 o CPU/GPU 高速缓存访问 o 数据的局部性优化（SIMD） o 现代存储技术 o 新硬件的使用 IvorySQL开源数据库社区 • 数据分布和弹性 o 分布式 eMPP 架构 (一致性Hash)

@2022 OpenPie. All rights reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 （数据共享，存算分离） • 兼容HDFS，NAS，本地磁盘 • 公有云，私有云，混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 （SIMD） • 现代存储技术 • 新硬件的使用 @2022 OpenPie. All rights reserved. OpenPie Confidential

Home 目录下。 5.3.8 混合部署拓扑 本文介绍 TiDB 集群的 TiKV 和 TiDB 混合部署拓扑以及主要参数。常见的场景为，部署机为多路 CPU 处理器，内 存也充足，为提高物理机资源利用率，可单机多实例部署，即 TiDB、TiKV 通过 numa 绑核，隔离 CPU 资源。PD 和 Prometheus 混合部署，但两者的数据目录需要使用独立的文件系统。 5.3.8.1 拓扑信息 nbthread 和 cpu-map 等。这些都可以减少对其性能的不利影响。 556 5.6.1.3.2 在高并发压力下，为什么 TiKV 的 CPU 利用率依然很低？ TiKV 虽然整体 CPU 偏低，但部分模块的 CPU 可能已经达到了很高的利用率。 TiKV 的其他模块，如 storage readpool、coprocessor 和 gRPC 的最大并发度限制是可以通过 TiKV 的配置文件进行调 监控面板可以观察到其实际使用率。如出现多线程模块瓶颈，可以通过增加该 模块并发度进行调整。 5.6.1.3.3 在高并发压力下，TiKV 也未达到 CPU 使用瓶颈，为什么 TiDB 的 CPU 利用率依然很低？ 在某些高端设备上，使用的是 NUMA 架构的 CPU，跨 CPU 访问远端内存将极大降低性能。TiDB 默认将使用服务 器所有 CPU，goroutine 的调度不可避免地会出现跨 CPU

倍（实验特性） BR v7.6.0 实验性地引入了粗粒度打散 Region 算法，用于提升集群的快照恢复速度。在 TiKV �→ 节点较多的集群中，该算法可显著提高集群资源利用率，更均匀地分配负载， �→ 同时更好地利用每个节点的网络带宽。在一些实际案例中，该特性可将恢复速度最高提升约 10 倍 �→ 。 0 码力 | 4666 页 | 101.24 MB | 1 年前

3

Home 目录下。 5.3.8 混合部署拓扑 本文介绍 TiDB 集群的 TiKV 和 TiDB 混合部署拓扑以及主要参数。常见的场景为，部署机为多路 CPU 处理器，内 存也充足，为提高物理机资源利用率，可单机多实例部署，即 TiDB、TiKV 通过 numa 绑核，隔离 CPU 资源。PD 和 Prometheus 混合部署，但两者的数据目录需要使用独立的文件系统。 5.3.8.1 拓扑信息 nbthread 和 cpu-map 等。这些都可以减少对其性能的不利影响。 540 5.6.1.3.2 在高并发压力下，为什么 TiKV 的 CPU 利用率依然很低？ TiKV 虽然整体 CPU 偏低，但部分模块的 CPU 可能已经达到了很高的利用率。 TiKV 的其他模块，如 storage readpool、coprocessor 和 gRPC 的最大并发度限制是可以通过 TiKV 的配置文件进行调 监控面板可以观察到其实际使用率。如出现多线程模块瓶颈，可以通过增加该 模块并发度进行调整。 5.6.1.3.3 在高并发压力下，TiKV 也未达到 CPU 使用瓶颈，为什么 TiDB 的 CPU 利用率依然很低？ 在某些高端设备上，使用的是 NUMA 架构的 CPU，跨 CPU 访问远端内存将极大降低性能。TiDB 默认将使用服务 器所有 CPU，goroutine 的调度不可避免地会出现跨 CPU

■ 屏蔽底层物理资源，降低决策时间 ■ 资源利用率提升30倍 ■ 90%的基础运维工作完全自动化 ■ 交付能力提升70倍 ■ 生产环境近3500个实例在平台上工作 成果 手工部署： 部署一套高可用集群+备份，配置监控。至少30分钟。部署32个节点的分片的集群，至少一个上午 。无系统化管理，资源分配情况，无法统一调配，服务器资源利用率低。 MySQL容器平台： 部署一套高可用集

Home 目录下。 5.3.8 混合部署拓扑 本文介绍 TiDB 集群的 TiKV 和 TiDB 混合部署拓扑以及主要参数。常见的场景为，部署机为多路 CPU 处理器，内 存也充足，为提高物理机资源利用率，可单机多实例部署，即 TiDB、TiKV 通过 numa 绑核，隔离 CPU 资源。PD 和 Prometheus 混合部署，但两者的数据目录需要使用独立的文件系统。 5.3.8.1 拓扑信息 nbthread 和 cpu-map 等。这些都可以减少对其性能的不利影响。 604 5.6.1.3.2 在高并发压力下，为什么 TiKV 的 CPU 利用率依然很低？ TiKV 虽然整体 CPU 偏低，但部分模块的 CPU 可能已经达到了很高的利用率。 TiKV 的其他模块，如 storage readpool、coprocessor 和 gRPC 的最大并发度限制是可以通过 TiKV 的配置文件进行调 监控面板可以观察到其实际使用率。如出现多线程模块瓶颈，可以通过增加该 模块并发度进行调整。 5.6.1.3.3 在高并发压力下，TiKV 也未达到 CPU 使用瓶颈，为什么 TiDB 的 CPU 利用率依然很低？ 在某些高端设备上，使用的是 NUMA 架构的 CPU，跨 CPU 访问远端内存将极大降低性能。TiDB 默认将使用服务 器所有 CPU，goroutine 的调度不可避免地会出现跨 CPU

Home 目录下。 5.3.8 混合部署拓扑 本文介绍 TiDB 集群的 TiKV 和 TiDB 混合部署拓扑以及主要参数。常见的场景为，部署机为多路 CPU 处理器，内 存也充足，为提高物理机资源利用率，可单机多实例部署，即 TiDB、TiKV 通过 numa 绑核，隔离 CPU 资源。PD 和 Prometheus 混合部署，但两者的数据目录需要使用独立的文件系统。 5.3.8.1 拓扑信息 nbthread 和 cpu-map 等。这些都可以减少对其性能的不利影响。 609 5.7.1.3.2 在高并发压力下，为什么 TiKV 的 CPU 利用率依然很低？ TiKV 虽然整体 CPU 偏低，但部分模块的 CPU 可能已经达到了很高的利用率。 TiKV 的其他模块，如 storage readpool、coprocessor 和 gRPC 的最大并发度限制是可以通过 TiKV 的配置文件进行调 监控面板可以观察到其实际使用率。如出现多线程模块瓶颈，可以通过增加该 模块并发度进行调整。 5.7.1.3.3 在高并发压力下，TiKV 也未达到 CPU 使用瓶颈，为什么 TiDB 的 CPU 利用率依然很低？ 在某些高端设备上，使用的是 NUMA 架构的 CPU，跨 CPU 访问远端内存将极大降低性能。TiDB 默认将使用服务 器所有 CPU，goroutine 的调度不可避免地会出现跨 CPU

Prepare 语句的执行计划缓存作为实验特性，以提升在线交易场景的并发处理能力。 在 v7.1.0 中，TiDB 继续增强非 Prepare 语句执行计划，支持缓存更多模式的 SQL。 为了提升内存利用率，TiDB v7.1.0 将非 Prepare 与 Prepare 语句的缓存池合并。你可以通过系统变量tidb_ �→ session_plan_cache_size 设置缓存大小。原有的系统变量 @Connor1996 @JmPotato @hnes @CabinfeverB @HuSharp TiDB 持续增强资源管控能力，在 v7.1.0 该功能正式 GA。该特性将极大地提升 TiDB 集群的资源利用率和性 能表现。资源管控特性的引入对 TiDB 具有里程碑的意义，你可以将一个分布式数据库集群划分成多个 逻辑单元，将不同的数据库用户映射到对应的资源组中，并根据实际需求设置每个资源组的配额。当 集群 Home 目录下。 5.3.7 混合部署拓扑 本文介绍 TiDB 集群的 TiKV 和 TiDB 混合部署拓扑以及主要参数。常见的场景为，部署机为多路 CPU 处理器，内 存也充足，为提高物理机资源利用率，可单机多实例部署，即 TiDB、TiKV 通过 numa 绑核，隔离 CPU 资源。PD 和 Prometheus 混合部署，但两者的数据目录需要使用独立的文件系统。 5.3.7.1 拓扑信息