seqNum的形式，以区别于 ChunkFile。CHUNKSERVER端快照实现-SNAPFILE 字段 类型 说明 version uint8_t 文件格式协议 版本号 demaged bool 损坏标记 sn uint64_t 快照版本号 bits uint32_t 位图的位数 bitmap char[] 位图 crc uint32_t 上述字段的crc 校验码 padding / 填0，以补足 -写时复制  使用copy-on-write  当前写请求的sn > chunk的cur_sn时触发复制  拷贝的单位是一个Page，即4KB  使用snapfile中的bitmap标记复制过的PageCHUNKSERVER端快照实现-转储内部快照 a) 打快照后未写过，未触发cow， 无snap file产生，直接读取chunk file b) 打快照后写过，触发了cow， 有snap • 使用chunkfile的bitmap来标记写过的Page， 一个Page大小为4KB • 读请求到来时，根据bitmap中的信息， • 对于已写过的区域，从本地chunk file读 • 对于未写过的区域，从远端源chunk file读 • 之后，将两者合并返回。 • 同时把源chunk读到的数据异步写入到本地 chunk，并标记bitmap，这个过程称之为 PasteChunk

node中已使用的空间。 空间分配流程 在新文件进行空间分配时，随机选择level1中标记为0的块，先预分配给这个文件，但是并不表示这个块被该文件独占。© XXX Page 4 of 11 1. 2. 3. 以下图为例：file1新申请了2MiB的空间。首先从level1中随机选一个标记为0的块分配出去，然后将这一个块中的前2MiB空间分配给这个文件，剩余部分加入到level2中的list中。 的extent完全分配出去，所以从level2中的list中删除。 文件inode中的extent可以将两次的申请结果进行合并，得到（0，28MiB，4MiB）。 特殊情况 新文件申请空间时，leve1中的所有bit都标记为1，即所有的块都已经预分配出去。在文件系统空间比较满的情况下，有可能会造成这个问题。此时，申请空间时，需要从level2中，随机或者选择可用空间 最大的extent分配出去。 文件申请空间时，之前 文件申请空间时，之前预分配块的剩余空间被其他文件占用。此时，首先从level1查找一个可用的块，不满足要求时，按情况1进行处理。 file1再次追加写入数据时，会附带32MiB来申请空间。此时，从level1中查找32MiB对应的块标记是否为0，如果为0，则将这个块继续分配给file1。否则，可以从level1中随机选择一个可用的块进行分配© XXX Page 5 of 11 3. 1. 2. 1. 2.

t这个inode元数据缓存失效, 重拉 写: 只是对chunkinfolist做新增, 不影响整理对原有部分的变更 删除: 已标记为删除的inode不进行整理, 已经在整理的任务不会被新的删除标记的请求打断. 如果标记删除到实际删除之间的时间间隔非常短, 并且在标记删除前已经开始了整理任务, 可能会出现边删除边整理的状态(出现概率较小) 可以在实际删除前检查当前整理的inode列表, 如果在

新版本Client/NEBD性能优化NEBD性能优化 场景：fio 128深度、4K随机写 NEBD Client发送RPC处标记请求成功，并返回 NEBD Server收到RPC处标记请求成功，并返回 Curve Client发送RPC处标记请求成功，并返回 Chunkserver收到RPC处标记请求成功，并返回NEBD性能优化 NEBD Client接收到IO请求后，直接发送 异步RPC（在用户线程）

带O_CREAT flag则会创建），返回一个文件描述符fd（该fd是进程打开文件描述符表的index），在后续系统调用（read(2)、write(2)、lseek(2)、fcntl(2) etc.）中指向这个打开的文件。打开的文件描述符记录中保存着文件的offset 和 文件status。 每个进程都有个 task_struct 描述符用来描述进程相关的信息，其中有个 files_struct files_struct 类型的 files 字段，里面有个保存了当前进程所有已打开文件 描述符的数组，而通过 fd 就可以找到具体的文件描述符:© XXX Page 3 of 23 open & openat 系统调用的区别：如果pathname是绝对路径，则dirfd参数没用。如果pathname是相对路径，并且dirfd的值不是AT_FDCWD，则pathname的参照物是相对于dirfd指向的目录，而不是进程的当前工作目录；反之，如 文件描述符，防止父进程泄露打开的文件给子进程。 O_CLOEXEC O_PATH: 使用 O_PATH 将不会真正打开一个文件，而只是准备好该文件的文件描述符，而且如果使用该标志位的话系统会忽略大部分其他的标志位(除了O_CLOEXEC, O_DIRECTORY, O_NOFOLLOW)。特别是如果配合使用 O_NOFOLLOW，那么遇到符号链接的时候将会返回这个符号链接本身的文件描述符，而非符号链接所指的对象。

pool，为了安全也需要填0。 ●使用nvme的时候，可以直接使用nvme write zero命令，不需要传递 大块数据（全是0），减少了nvme传输带宽，而且nvme在垃圾回收上 可以优化，例如只是标记某块为0, 而不用实际写，gc时不需要搬运。10/17/22 12 nvme读写的内存对齐要求 ●NVME读写传输描述分两种规格：PRP和SGL。 PRP是第一个版本， SGL是后面才发展起来的

初始状态，copyset1，copyset2，copyset3的三个副本分别在 CS1,CS3,CS4上，完成迁移后，CS1上的副本迁移到CS2上 ① CS1超时未向MDS上报心跳（默认半小时） ② MDS标记CS1状态为offline ③ MDS的recover scheduler发现copyset1, 2, 3的副本CS1 offline， 生成change peer from CS1 to CS

文件版本号（当文件格式变化时，可以 100% 向后兼容加载旧版持久化文件） size 8 键值对数量 key_value_pairs / 键值对（当 size 为 0 时，该字段为空） EOF 1 特殊标记常量 (0XFF)，表示内容已结束 check_sum 8 保存校验和 (根据前 5 个部分内容计算得出) key_value_pairs 字段 字节数 说明 key_length 4 key

根据parent inode id 和 name找到当前文件的inode和denty结构 根据lookup count 值，如果非0，则需要延迟删除文件，如果为0，则真正删除文件。 （ ） 这里需要做标记删除 删除时需要从缓存或mds查询删除inode和dentry的位置，并去metaserver删除，然后清除本地缓存 rmdir void (*rmdir) (fuse_req_t req, fuse_ino_t

扩展属性（简写为xattr, 详见 ） man xattr 含有一系列的扩展属性。每一个属性由一个名字以及与之相关联的数据所表示。其中名字必须为一个 字符串 ，并且必须有一个 命名空间 前缀标识符与一个点字符。目前存在有四种命名空间：用户命名空间、信任命名空间、安全命名空间以及系统命名空间。用户命名空间在命名或者内容上没有任何限制。系统命名空间主要被内核用于访问控制表上 。目前Linux 的