client端 7.2 mds端 7.3 metaserver端 metaserver 子模块拆分 8、inode和dentry的内存估算 8.1 一台机器上能存放多少个inode和dentry 8.2 一台机器上建议的copyset数量 8.3 每个copyset建议管理存储容量的大小 1、背景 curvefs使用raft作为元数据一致性的保证。为了提高元数据的可扩展性和并发处理能力，采用元数据分片 每个元数据一定有对应的partition进行处理 inode manange/ dentry manager：负责管理元数据的内存结构 heartbeat：定期获取copyset的信息 模块 估算工作量（开发 + ci完成） client 10d mds 15d metaserver 10d 考虑到partition和copyset的多对一关系会带来开发商的复杂性，是否考虑先只实现p 5 增加copyset.proto 增加heartbeat.proto 增加topology.proto 8、inode和dentry的内存估算 类型 byte sizeof(dentry) 56 dentry的name字段，按照最大估算 256 sizeof(inode) 112 sizeof(volumeExtentList) 48 sizeof(S3ChunkInfoList)

什么是TiDB 产品优势 产品优势 ⾼度兼容 MySQL 动态扩展 分布式事务 HTAP 真正⾦融级⾼可⽤ 适⽤场景 适⽤场景 对数据⼀致性及⾼可靠、系统⾼可⽤、可扩展性、容灾要求较⾼的⾦融⾏业属性的场景 对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 OLTP 场景 Real-time HTAP 场景 数据汇聚、⼆次加⼯处理的场景 真正⾦融级⾼可⽤ UCloud 云上 云上 TiDB 架构⽰意图 架构⽰意图 Multi-Raft 协议 的⽅式将数据调度到不同的机房、机架、机器，当部分机器出现故障时系统可⾃动进⾏切换，确保系统的 RTO <= 30s 及 RPO = 0。 对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 OLTP 场景 场景 随着业务的⾼速发展，数据呈现爆炸性的增⻓，传统的单机数据库⽆法满⾜因数据爆炸性的增⻓对数据库的容量要 命令修改副本数则会重新计算同步进度。 PROGRESS 字段代表同步进度，在 0.0~1.0 之间，1 代表⾄少 1 个副本已经完成同步。 步骤三 步骤三 使⽤ 使⽤TiFlash 同步完成后，TiDB 优化器会⾃动根据代价估算选择是否使⽤ TiFlash 副本。具体有没有选择 TiFlash 副本，可以通过 desc 或 explain analyze 语句查看，例如： desc select count(*) from

@winoros – 修复当查询条件为 column IS NULL 访问唯一索引时，优化器将行数错误地估算为 1 的问题 #56116 @hawkingrei – 修复当查询包含形如 (... AND ...)OR (... AND ...)... 的过滤条件时，优化器没有使用最优的 多列统计信息估算行数的问题 #54323 @time-and-fate – 修复当一个查询有索引合并 (Index 5 第 5 步：使用 HTAP 更快地分析数据 再次执行第 3 步中的 SQL 语句，你可以感受 TiDB HTAP 的表现。 对于创建了 TiFlash 副本的表，TiDB 优化器会自动根据代价估算选择是否使用 TiFlash 副本。如需查看实际是否 选择了 TiFlash 副本，可以使用 desc 或 explain analyze 语句，例如： USE test; EXPLAIN ANALYZE 要查询的行数减少，往往查询速度也会非常快，而且所消耗的资源一般相对 TiFlash 而言会更少。 4.7.9.3.2 指定查询引擎 尽管 TiDB 会使用基于成本的优化器（CBO）自动地根据代价估算选择是否使用 TiFlash 副本。但是在实际使用 当中，如果你非常确定查询的类型，推荐你使用Optimizer Hints 明确的指定查询所使用的执行引擎，避免因为 优化器的优化结果不同，导致应用程序性能出现波动。

@winoros – 修复当查询条件为 column IS NULL 访问唯一索引时，优化器将行数错误地估算为 1 的问题 #56116 @hawkingrei – 修复当查询包含形如 (... AND ...)OR (... AND ...)... 的过滤条件时，优化器没有使用最优的 多列统计信息估算行数的问题 #54323 @time-and-fate – 修复当一个查询有索引合并 (Index 5 第 5 步：使用 HTAP 更快地分析数据 再次执行第 3 步中的 SQL 语句，你可以感受 TiDB HTAP 的表现。 对于创建了 TiFlash 副本的表，TiDB 优化器会自动根据代价估算选择是否使用 TiFlash 副本。如需查看实际是否 选择了 TiFlash 副本，可以使用 desc 或 explain analyze 语句，例如： USE test; EXPLAIN ANALYZE 要查询的行数减少，往往查询速度也会非常快，而且所消耗的资源一般相对 TiFlash 而言会更少。 4.7.9.3.2 指定查询引擎 尽管 TiDB 会使用基于成本的优化器（CBO）自动地根据代价估算选择是否使用 TiFlash 副本。但是在实际使用 当中，如果你非常确定查询的类型，推荐你使用Optimizer Hints 明确的指定查询所使用的执行引擎，避免因为 优化器的优化结果不同，导致应用程序性能出现波动。

5 第 5 步：使用 HTAP 更快地分析数据 再次执行第 3 步中的 SQL 语句，你可以感受 TiDB HTAP 的表现。 对于创建了 TiFlash 副本的表，TiDB 优化器会自动根据代价估算选择是否使用 TiFlash 副本。如需查看实际是否 选择了 TiFlash 副本，可以使用 desc 或 explain analyze 语句，例如： USE test; EXPLAIN ANALYZE 要查询的行数减少，往往查询速度也会非常快，而且所消耗的资源一般相对 TiFlash 而言会更少。 4.7.9.3.2 指定查询引擎 尽管 TiDB 会使用基于成本的优化器（CBO）自动地根据代价估算选择是否使用 TiFlash 副本。但是在实际使用 当中，如果你非常确定查询的类型，推荐你使用Optimizer Hints 明确的指定查询所使用的执行引擎，避免因为 优化器的优化结果不同，导致应用程序性能出现波动。 目前有以下两种有效的空间预估方法： • 假设数据总大小为 A，索引总大小为 B，副本数为 3，压缩率为 α（一般在 2.5 左右），则总的占用空间 为：(A+B)*3/α。该方法主要用于不进行任何数据导入时的估算，以此规划集群拓扑。 • 预先导入 10% 的数据，实际占用空间再乘以 10，即可认为是该批数据最终的占用空间。该方法更加准 确，尤其是对于导入大量数据时比较有效。 注意要预留 20% 的存储空

文件查找：查找一个具体的文件 • 目录重命名：对一个目录/文件进行重命名 当前元数据信息编码之后存储在 etcd 中。COPYSET Curve系统中数据分片的最小单位称之为Chunk。在大规模的存储容量下，会产生大量的Chunk，如此众多的 Chunk，会对元数据的存储、管理产生一定压力。因此引入CopySet的概念，CopySet类似于ceph的pg。CopySet 可以理解为一组复制组，

时间效率：算法运行时间的长短。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 这样，我们才能将各种算法进行对比，进而指导算法设计与优化过程。 效率评估方法主要分为两种：实际测试、理论估算。 2.1.1 实际测试 假设我们现在有算法 A 和算法 B ，它们都能解决同一问题，现在需要对比这两个算法的效率。最直接的方法 短；而在输入数据量较大时，测试结果可能恰恰相反。因此，为 了得到有说服力的结论，我们需要测试各种规模的输入数据，而这需要耗费大量的计算资源。 2.1.2 理论估算 由于实际测试具有较大的局限性，因此我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称 为渐近复杂度分析（asymptotic complexity analysis），简称复杂度分析。 复杂度分析能够体现算法运行所需的时间和空 它独立于测试环境，分析结果适用于所有运行平台。 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 Tip 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。 复杂度是个数学概念，对于初学者可能比较抽象，学习难度相对较高。从这个角度看，复杂度分析可能不太 适

时间效率：算法运行时间的长短。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 这样，我们才能将各种算法进行对比，进而指导算法设计与优化过程。 效率评估方法主要分为两种：实际测试、理论估算。 2.1.1 实际测试 假设我们现在有算法 A 和算法 B ，它们都能解决同一问题，现在需要对比这两个算法的效率。最直接的方法 短；而在输入数据量较大时，测试结果可能恰恰相反。因此，为 了得到有说服力的结论，我们需要测试各种规模的输入数据，而这需要耗费大量的计算资源。 2.1.2 理论估算 由于实际测试具有较大的局限性，因此我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称 为渐近复杂度分析（asymptotic complexity analysis），简称复杂度分析。 复杂度分析能够体现算法运行所需的时间和空 它独立于测试环境，分析结果适用于所有运行平台。 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 Tip 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。 复杂度是个数学概念，对于初学者可能比较抽象，学习难度相对较高。从这个角度看，复杂度分析可能不太 适

时间效率：算法运行时间的长短。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 这样，我们才能将各种算法进行对比，进而指导算法设计与优化过程。 效率评估方法主要分为两种：实际测试、理论估算。 2.1.1 实际测试 假设我们现在有算法 A 和算法 B ，它们都能解决同一问题，现在需要对比这两个算法的效率。最直接的方法 短；而在输入数据量较大时，测试结果可能恰恰相反。因此，为 了得到有说服力的结论，我们需要测试各种规模的输入数据，而这需要耗费大量的计算资源。 2.1.2 理论估算 由于实际测试具有较大的局限性，因此我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称 为渐近复杂度分析（asymptotic complexity analysis），简称复杂度分析。 复杂度分析能够体现算法运行所需的时间和空 它独立于测试环境，分析结果适用于所有运行平台。 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 Tip 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。 复杂度是个数学概念，对于初学者可能比较抽象，学习难度相对较高。从这个角度看，复杂度分析可能不太 适

时间效率：算法运行时间的长短。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 这样，我们才能将各种算法进行对比，进而指导算法设计与优化过程。 效率评估方法主要分为两种：实际测试、理论估算。 2.1.1 实际测试 假设我们现在有算法 A 和算法 B ，它们都能解决同一问题，现在需要对比这两个算法的效率。最直接的方法 短；而在输入数据量较大时，测试结果可能恰恰相反。因此，为 了得到有说服力的结论，我们需要测试各种规模的输入数据，而这需要耗费大量的计算资源。 2.1.2 理论估算 由于实际测试具有较大的局限性，因此我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称 为渐近复杂度分析（asymptotic complexity analysis），简称复杂度分析。 复杂度分析能够体现算法运行所需的时间和空 它独立于测试环境，分析结果适用于所有运行平台。 ‧ 它可以体现不同数据量下的算法效率，尤其是在大数据量下的算法性能。 Tip 如果你仍对复杂度的概念感到困惑，无须担心，我们会在后续章节中详细介绍。 复杂度分析为我们提供了一把评估算法效率的“标尺”，使我们可以衡量执行某个算法所需的时间和空间资 源，对比不同算法之间的效率。 复杂度是个数学概念，对于初学者可能比较抽象，学习难度相对较高。从这个角度看，复杂度分析可能不太 适