[Image](/uploads/documents/d/1/e/6/d1e62646408551dcc5c371bff0689c8d/p2_1.jpg) ### 1. Memory Allocator 内存分配器 ## base on tcmalloc 基于成熟方案，性舱优秀。随着版本升级，针对性改进，以期与垃圾回收器更好协作。 核心：自主管理，缓存复用，无锁分配。 page, span. 内存管理以

空间回收 - 小文件处理 - 并发问题 - 文件系统扩容 - 接口设计 - RPC接口 - 空间分配器接口 ## 背景 根据CurveFS方案设计（总体设计，只实现了部分），文件系统基于当前的块进行实现，所以需要设计基于块的空间分配器，用于分配并存储文件数据。 ## 本地文件系统空间分配相关特性 局部性 尽量分配连续的磁盘空间，存储文件的数据。这一特性主要 [Image](/uploads/documents/f/d/4/b/fd4b2544c4bddb59fba9ae0d89e93c76/p3_1.jpg) Level2 free extent 分配器包括两层结构： 第一层用`Bitmap`进行表示，每个`Bit`标识其所对应的一块空间（以4MiB为例，具体大小可配置）是否分配出去。 第二层为free extent list，表示每个已分配的 list，表示每个已分配的块，哪些仍然是空闲的（offset，length），以offset为key进行排序（这里可以用map或者tree对所有的free extent进行管理）。 当前设计不考虑持久化问题，空间分配器只作为内存结构，负责空间的分配与回收。在初始化时，扫描文件系统所有inode中已使用的空间。 ## 空间分配流程 在新文件进行空间分配时，随机选择level1中标记为0的块，先预分配给这个文件，但是并不表示这个块被该文件独占。

据的正确性。 将存储层抽象为分配器（Allocator）。针对不同的内存使用场景，如对内存连续性的要求、内存是否需要回收等，可定制实现不同的分配器。  内存分配器 以下均为基于mmap的各类分配器，这里的“内存”是指调用进程的虚 平衡点。在工程实践中，借鉴Linux物理内存的分配策略，自主实现了更适于业务场景的多个分配器。 • PageAllocator 页的大小为4KB，使用伙伴系统（Buddy System）的思想实现页的分配和回收。 ☐ 页的分配基于SegmentAllocator，即先分段再分页。 在此简要阐述伙伴分配器的处理过程，为有效管理空闲块，每一级order持有一个空闲块的FreeList。设定最大 时先找满足条件的最小块；若找不到则在上一级查找更大的块，并将该块分为两个“伙伴”，其中一个分配使用，另一个置于低一级的FreeList。 下图呈现了分配一个页大小的内存块前后的状态变化，分配前，分配器由order=0开始查找FreeList，直到order=4才找到空闲块。 ![Image](/uploads/documents/3/5/e/a/35ea1e7659ba76c4ea2f0c80ce7a723a/p111_1

init void (*init) (void *userdata, struct fuse_conn_info *conn); 根据挂载信息，从mds获取文件系统信息（或superblock），块分配器（ bitmap ）和root inode所在的copyset、metaserver ip等信息 ■ 去metaserver获取文件系统信息（super block），缓存到client端。 ## ip等信息，然后从metaserver获取inode结构，缓存之； 判断inode结构中，对应请求[off, size]位置的空间是否有分配：如果未分配或只有部分分配空间，则调用空间分配器分配空间，并根据空间分配器返回结果，修改inode结构（包括file length）；inode修改需要持久化到底层并修改本地cache； ■ 调用curve client接口，写curve卷对应[offset

直接在块设备上构建分布式fs。一个文件的数据对应块设备上某个空间，因此需要知道块设备的哪些空间是空闲的，哪些是已经分配出去的，需要一个空间分配管理器。blustore有两个空间分配器 bitmap 和 stupid。polarfs 开源部分有空间映射关系，但空间分配器没有公布。 当前curve已经实现了块设备。curve的数据节点采用了chunkfilepool实现性能优化，同时也绕过了文件系统的空间管理，通过mds 用分布式文件和本地文件系统相对应的方式，curve当前数据节点需要变更。因为chunk16MB的定长不适用于文件系统。另外快照逻辑无法复用。 ■ 利用已有的块设备构建curvefs，需要实现空间分配器，可以复用快照逻辑做文件系统级别的快照。 对比两种方案：首先curve设计的初衷是提供一个存储底座，在这个底座上构建文件、块、对象等，第一种方式相当于重新开发了一套文件系统，并没有用到块设备的能力

that don't depend on libc, allocator or even the presence of an operating system. • alloc 包括需要全局堆分配器的类型,例如 Vec、Box 和 Arc。 • 嵌入式 Rust 应用通常只使用 core, 偶尔会使用 alloc。 ### 16.2 文档 Rust comes with extensive Vec 实现, 因此它具有容量和长度, 如果值可变, 则可以通过在堆上重新分配存储空间进行增长。 - 如果学员提出相关问题,你可以提及我们不仅能使用 [系统分配器] 在堆上分配底层内存,还能使用 Allocator API 实现自定义分配器 ## 探索更多 We can inspect the memory layout with unsafe Rust. However, you should unsafe, 看看编译器如何解释从多个线程中修改静态变量是一种未定义的行为。 - 通常, 我们不建议使用可变的静态变量, 但在某些情况下, 在低层级 no_std 代码中可能需要这样做, 例如实现堆分配器或使用某些 C API。 ### 30.4 联合体 联合体与枚举类似,但您需要自行跟踪活跃字段: union MyUnion { i: u8, b: bool, } fn main()

—— 自动切换数据同步模式 线程数为1 数据同步 数据结构方法 返回结果 单线程同步器 Lock 多线程同步器 数据同步 线程数>1 ## 挑战：并行环境内存分配器的设计 ## 多线程内存分配器，线程分而治之  WorkerLocal数据结构设计

0/22606800da098896988069ebbef7f473/p13_1.jpg) 1. 哈希表目录：采用哈希表来管理目录项，提高线性查找效率，减少伪共享。 2. 统一的分配器：数据结构使用统一的分配器，这样可以打破不同数据结构之间的界限，使得内存管理更加地简单与灵活。 3. 采用软更新技术，简化了实现复杂度：软更新 (Soft Update) 是一种轻量级的保证文件系统一致性的技术。