Curve文件系统空间分配方案（基于块的方案，已实现） - 背景 - 本地文件系统空间分配相关特性 - 局部性 - 延迟分配/Allocate-on-flush - Inline file/data - 空间分配 - 整体设计 - 空间分配流程 - 特殊情况 - 空间回收 - 小文件处理 - 并发问题 - 文件系统扩容 - 接口设计 分配器，用于分配并存储文件数据。 ## 本地文件系统空间分配相关特性 局部性 尽量分配连续的磁盘空间，存储文件的数据。这一特性主要是针对HDD进行的优化，降低磁盘寻道时间。 延迟分配/Allocate-on-flush 在sync/flush之前，尽可能多的积累更多的文件数据块才进行空间分配，一方面可以提高局部性，另一方面可以降低磁盘碎片。 Inline file/data 几百字节 几百字节的小文件不单独分配磁盘空间，直接把数据存放到文件的元数据中。 针对上述的本地文件系统特性，Curve文件系统分配需要着重考虑局部性。 虽然Curve是一个分布式文件系统，但是单个文件系统的容量可能会比较大，如果在空间分配时，不考虑局部性，inode中记录的extent数量很多，导致文件系统元数据量很大。 假如文件系统大小为1PiB，空间分配粒度为1MiB，inode中存储的extent为三元组

使用泛型方法，而不是定义泛型类的原则 1. 不涉及到类中的其他方法时，则应将之定义为泛型方法，因为泛型方法的类型参数是局部性的，这样可以简化其所在类型的声明和处理开销。 ## 定义泛型方法 ## 使用泛型方法，而不是定义泛型类的原则 1. 不涉及到类中的其他方法时，则应将之定义为泛型方法，因为泛型方法的类型参数是局部性的，这样可以简化其所在类型的声明和处理开销。 2. 要施加类型约束的方法为静态方法时，只能将之定

理器微架构优化有“三大法宝”：缓存、流水线、并行。今天，还可以加上一个法宝，即预取。这“四大法宝”都对应着程序行为的共性特征，比如缓存和预取为了充分利用程序的局部性特征。今天的教科书中都会介绍局部性特征，并进一步细化为时间局部性与空间局部性，这些特征又是因为程序是顺序执行且存在大量循环。不过顺序执行、大量循环这些显而易见的特征早在1960年代就已被提炼与总结，今天再要从大量程序中提炼出运行时的共性

QoS 负载均衡，进一步降低离线业务 QoS 干扰。 潮汐 affinity 调度特性：感知业务负载动态调整业务 CPU 亲和性，当业务负载低时使用 preferred cpus 处理，增强资源的局部性；当业务负载高时，突破 preferred cpus 范围限制，通过增加 CPU 核的供给提高业务的 QoS。 支持进程、容器级别 KSM 使能：KSM 即 Kernel Same page Merge，在引入本特性之前，KSM ·业务间资源干扰低，资源共享效率高 ·降低内核无效切换底噪低 ·低负载时节省能耗 潮汐 affinity 技术动态感知业务的负载变化调节业务 CPU 范围，负载低时使用优先 CPU，增强资源局部性；负载高时突破优先 CPU 的限制，利用共享 CPU 来提升 QoS。 ![Image](/uploads/documents/f/8/b/c/f8bc882286c62dc9b898b93415fea6d6/p18_6

可以利用这些信息来优化数据结构的操作效率。 · 空间效率高：数组为数据分配了连续的内存块，无须额外的结构开销。 · 支持随机访问：数组允许在 $ O(1) $ 时间内访问任何元素。 缓存局部性：当访问数组元素时，计算机不仅会加载它，还会缓存其周围的其他数据，从而借助高速缓存来提升后续操作的执行速度。 连续空间存储是一把双刃剑，其存在以下局限性。 · 插入与删除效率低：当数组中元素较多时，插入与删除操作需要移动大量的元素。 预取机制：处理器会尝试预测数据访问模式（例如顺序访问、固定步长跳跃访问等），并根据特定模式将数据加载至缓存之中，从而提升命中率。 空间局部性：如果一个数据被访问，那么它附近的数据可能近期也会被访问。因此，缓存在加载某一数据时，也会加载其附近的数据，以提高命中率。 时间局部性：如果一个数据被访问，那么它在不久的将来很可能再次被访问。缓存利用这一原理，通过保留最近访问过的数据来提高命中率。 实际上，数组 · 缓存行：链表数据分散在内存各处，而缓存是“按行加载”的，因此加载到无效数据的比例更高。 · 预取机制：数组比链表的数据访问模式更具“可预测性”，即系统更容易猜出即将被加载的数据。 · 空间局部性：数组被存储在集中的内存空间中，因此被加载数据附近的数据更有可能即将被访问。 总体而言，数组具有更高的缓存命中率，因此它在操作效率上通常优于链表。这使得在解决算法问题时，基于数组实现的数据结构往往更受欢迎。

可以利用这些信息来优化数据结构的操作效率。 · 空间效率高：数组为数据分配了连续的内存块，无须额外的结构开销。 · 支持随机访问：数组允许在 $ O(1) $ 时间内访问任何元素。 缓存局部性：当访问数组元素时，计算机不仅会加载它，还会缓存其周围的其他数据，从而借助高速缓存来提升后续操作的执行速度。 连续空间存储是一把双刃剑，其存在以下局限性。 · 插入与删除效率低：当数组中元素较多时，插入与删除操作需要移动大量的元素。 预取机制：处理器会尝试预测数据访问模式（例如顺序访问、固定步长跳跃访问等），并根据特定模式将数据加载至缓存之中，从而提升命中率。 空间局部性：如果一个数据被访问，那么它附近的数据可能近期也会被访问。因此，缓存在加载某一数据时，也会加载其附近的数据，以提高命中率。 时间局部性：如果一个数据被访问，那么它在不久的将来很可能再次被访问。缓存利用这一原理，通过保留最近访问过的数据来提高命中率。 实际上，数组 · 缓存行：链表数据分散在内存各处，而缓存是“按行加载”的，因此加载到无效数据的比例更高。 · 预取机制：数组比链表的数据访问模式更具“可预测性”，即系统更容易猜出即将被加载的数据。 · 空间局部性：数组被存储在集中的内存空间中，因此被加载数据附近的数据更有可能即将被访问。 总体而言，数组具有更高的缓存命中率，因此它在操作效率上通常优于链表。这使得在解决算法问题时，基于数组实现的数据结构往往更受欢迎。

可以利用这些信息来优化数据结构的操作效率。 · 空间效率高：数组为数据分配了连续的内存块，无须额外的结构开销。 · 支持随机访问：数组允许在 $ O(1) $ 时间内访问任何元素。 缓存局部性：当访问数组元素时，计算机不仅会加载它，还会缓存其周围的其他数据，从而借助高速缓存来提升后续操作的执行速度。 连续空间存储是一把双刃剑，其存在以下局限性。 · 插入与删除效率低：当数组中元素较多时，插入与删除操作需要移动大量的元素。 预取机制：处理器会尝试预测数据访问模式（例如顺序访问、固定步长跳跃访问等），并根据特定模式将数据加载至缓存之中，从而提升命中率。 空间局部性：如果一个数据被访问，那么它附近的数据可能近期也会被访问。因此，缓存在加载某一数据时，也会加载其附近的数据，以提高命中率。 时间局部性：如果一个数据被访问，那么它在不久的将来很可能再次被访问。缓存利用这一原理，通过保留最近访问过的数据来提高命中率。 实际上，数组 · 缓存行：链表数据分散在内存各处，而缓存是“按行加载”的，因此加载到无效数据的比例更高。 · 预取机制：数组比链表的数据访问模式更具“可预测性”，即系统更容易猜出即将被加载的数据。 · 空间局部性：数组被存储在集中的内存空间中，因此被加载数据附近的数据更有可能即将被访问。 总体而言，数组具有更高的缓存命中率，因此它在操作效率上通常优于链表。这使得在解决算法问题时，基于数组实现的数据结构往往更受欢迎。

可以利用这些信息来优化数据结构的操作效率。 · 空间效率高：数组为数据分配了连续的内存块，无须额外的结构开销。 · 支持随机访问：数组允许在 $ O(1) $ 时间内访问任何元素。 缓存局部性：当访问数组元素时，计算机不仅会加载它，还会缓存其周围的其他数据，从而借助高速缓存来提升后续操作的执行速度。 连续空间存储是一把双刃剑，其存在以下局限性。 · 插入与删除效率低：当数组中元素较多时，插入与删除操作需要移动大量的元素。 预取机制：处理器会尝试预测数据访问模式（例如顺序访问、固定步长跳跃访问等），并根据特定模式将数据加载至缓存之中，从而提升命中率。 空间局部性：如果一个数据被访问，那么它附近的数据可能近期也会被访问。因此，缓存在加载某一数据时，也会加载其附近的数据，以提高命中率。 时间局部性：如果一个数据被访问，那么它在不久的将来很可能再次被访问。缓存利用这一原理，通过保留最近访问过的数据来提高命中率。 实际上，数组 · 缓存行：链表数据分散在内存各处，而缓存是“按行加载”的，因此加载到无效数据的比例更高。 · 预取机制：数组比链表的数据访问模式更具“可预测性”，即系统更容易猜出即将被加载的数据。 · 空间局部性：数组被存储在集中的内存空间中，因此被加载数据附近的数据更有可能即将被访问。 总体而言，数组具有更高的缓存命中率，因此它在操作效率上通常优于链表。这使得在解决算法问题时，基于数组实现的数据结构往往更受欢迎。

可以利用这些信息来优化数据结构的操作效率。 · 空间效率高：数组为数据分配了连续的内存块，无须额外的结构开销。 · 支持随机访问：数组允许在 $ O(1) $ 时间内访问任何元素。 缓存局部性：当访问数组元素时，计算机不仅会加载它，还会缓存其周围的其他数据，从而借助高速缓存来提升后续操作的执行速度。 连续空间存储是一把双刃剑，其存在以下局限性。 · 插入与删除效率低：当数组中元素较多时，插入与删除操作需要移动大量的元素。 预取机制：处理器会尝试预测数据访问模式（例如顺序访问、固定步长跳跃访问等），并根据特定模式将数据加载至缓存之中，从而提升命中率。 空间局部性：如果一个数据被访问，那么它附近的数据可能近期也会被访问。因此，缓存在加载某一数据时，也会加载其附近的数据，以提高命中率。 时间局部性：如果一个数据被访问，那么它在不久的将来很可能再次被访问。缓存利用这一原理，通过保留最近访问过的数据来提高命中率。 实际上，数组 · 缓存行：链表数据分散在内存各处，而缓存是“按行加载”的，因此加载到无效数据的比例更高。 · 预取机制：数组比链表的数据访问模式更具“可预测性”，即系统更容易猜出即将被加载的数据。 · 空间局部性：数组被存储在集中的内存空间中，因此被加载数据附近的数据更有可能即将被访问。 总体而言，数组具有更高的缓存命中率，因此它在操作效率上通常优于链表。这使得在解决算法问题时，基于数组实现的数据结构往往更受欢迎。