dentry可以抽象成 key : fsid+parentId+name , value : struct dentry； 分别从不同场景上进行分析，curve文件系统的元数据应该有以下的操作： 1、系统加载的时候，元数据从持久化介质加载。 2、业务运行过程中，元数据的增删改查。 3、系统退出的时候，元数据持久化。© XXX Page 7 of 24 场景一：系统加载的时候，元数据从持久化介质中加载。 展性不受限于内存，服务上的内存只有几百GB，而硬盘空 间按照20块1.6TB的盘来计算，一个服务器上可以有32TB的空间，硬盘的空间比内存到100多倍。但是这种方式，由于数据不能去全部缓存到内存，在查询元数据的时候，需要去盘上读数据，而且在文件系统这种使 用场景下，一次对文件的查找，需要在磁盘上读取多次。 我们的文件系统定位是一个高性能的通用文件系统，元数据的缓存倾向于全缓存。 系统加载的时候 name "A"，查询"A"的inodeid为100© XXX Page 13 of 24 2、client给server0发送请求：inode 100，查询的"A"的inode信息。 3、client给server1发送请求：parentid 100 + name "C"，查询"C"的inode为300 4、client给server1发送请求：inode 300，查询"C"的inode信息。

E_RESERVED类型并将该fsn ode连接到reserved链表中，使该文件虽然已经从文件树中删除掉，但因为另一个正在打开该文件的客户端因为持有该节点inodeid,所以不影响它对该文件的读写操作，当所有客户端都关闭该文件后，该文 件节点才会从 被清除。 reserve 使用了session机制，记录client端的open状态 通过META文件系统访问reserve 使用CUTOMA_F tree和free list中移除该inode，不再等待7天。 chubaofs实现了强制从freelist中移除inode的机制，同样是使用设置DeleteMarkFlag的方式。 chubaofs也实现了查询机制，来查询处于freelist当中的inode的情况，以便与运维，这一部分没有细看。 优点： 实现简单，开发代价小，且后续可以增加metaserver端打开(session)等机制，向着moosefs的演进也是可以的。 不会在client端，因为client会崩溃，也可能下线了，永远不再起来。所以实际的内存和外存中的inode的删除机制，必须是在metaserver中实现的。client端只是 进行nlink-1的操作。 不能完全依赖forget接口的调用来移除inode，因为client可能会崩溃，也可能下线。所以实际移除inode只能依赖于metaserver，两种方式：chubaofs的简单粗暴放7天就删，或者moosefs使用session机

情况，测试软件的性能和稳定性是否符合预期。  规模测试 测试模块在一定规模下是否能够正常工作，是否 会出现异常或者崩溃， 14/33系统测试 系统测试是对整个系统的测试，将硬件、软件、操作人员看作一个整体，检验它是否有不符 合系统说明书的地方。它是一个黑盒测试，可以发现系统分析和设计中的错误。 Curve的系统测试一般是由QA来完成，包含：  常规测试，主要是新增功能的手工测试； 选择最常用的参数值作为基础组合，在此基础上每次改变一个参数， 生成新用例。 16/33 我们可以依据Given-When-Then模式来编写具体的测试用例： Given —— 测试上下文 When —— 执行一系列操作 Then —— 得到一系列可观察的后果，即需要检测的断言·异常自动化测试实践 Robotframework  支持python关键字，灵活定义测试  完善的测试报告  完美兼容Jenkins 配置化（测试环境、测试负载定义）  控制用例时间（考虑一些折中方案）  Case独立性  Case通用性（兼顾curve、ceph等）  Tag规范(优先级、版本、运行时间)  最大化覆盖率（打乱操作顺序、随机 sleep）  精确性（checkpoint）  稳定性（避免环境因素、其他模块干扰） Curve使用Robotframework框架进行异常自动化测试， 相关代码见curve/robot

open的主要逻辑： 根据inode id，从mds获取inode所在copyset，metaserver ip等信息，然后从metaserver获取inode结构，缓存之； 判断上述各种oflag，执行相应的操作。（ ） 对于目前阶段来说，open可以什么都不做 create & mknod void (*create) (fuse_req_t req, fuse_ino_t parent, const parent, const char *name, mode_t mode, dev_t rdev); 这两个函数的功能是类似，都用来创建文件。 根据parent inode id 和name，向mds查询创建dentry和inode的位置，去meta server创建dentry和inode 预分配一些空间？可先不做 mkdir© XXX Page 7 of 11 void (*mkdir) (fuse_req_t (fuse_req_t req, fuse_ino_t parent, const char *name, mode_t mode); 根据parent inode id 和name，向mds查询创建dentry和inode的位置，去meta server创建dentry和inode forget void (*forget) (fuse_req_t req, fuse_ino_t ino, uint64_t

SetInfo组成。 curve块设备的copyset是在空间预分配的时候就确定了，每次预分配1GB的空间，然后这1GB的空间每个chunk对应的copyset在预分配的时候已经确定。后续的读写的操作直接去对应的copyset上去进行读写。这个 分配copyset方式，并不适合curvefs的元数据。这种分配方式是提前分配了一批空间，即使用户只需要写4KB数据，也一次性分配1GB的空间。而cur 创建dentry，去parent inodeid所在的meta partition进行创建就好了。 查找inode和partition的时候，通过inodeid去查询应该由哪个partition进行处理。inode是拿着inodeid查询，dentry是拿着parent的inode id去查询。© XXX Page 6 of 19 一个fs的meta partition使用第一个叫做MetaWrapper的结构体组织起来© 变成了去copyset上修改。 client端缓存所有open的inode，读写的时候，根据inode的元数据，去对应的volume或者S3进行读写。如果涉及到inode的修改，根据inodeId查询对应的copyset，去对应的copyset进行inode的更新。 bool :: ( , , :: < > ) CopysetManager GenCopyset

prefix + parentid + filename 作为 key , filename 直接和 fileInfo 关联，硬链接无法支持 b. 性能 list：list在通用文件系统中是很常见的操作，目前 curve 的元数据缓存使用的 lru cache，因此 list 只能依赖 etcd 的 range 获取方式。如果需要对 list 加速，需要新的缓存结构 c. 扩展性/可用性/可靠性 copyset: 复制组，使用 raft 保证数据一致性。复制组中保存文件系统的部分元数据信息 文件系统元数据和复制组是多对多的关系 一个复制组可以包含多个文件的元数据信息 复制组 wal 记录元数据操作 定期 snapshot 对 wal 进行清理。snapshot 中存储的是键值对，其中 inode 文件中存储 inode-inodeInfo; dentry 中存储 filename-dentryInfo inode 和 dentry 分别建立对应的内存结构，再回放 wal 日志完成构建 卷的元数据管理 卷的元数据中需要包含建立在该卷之上的文件系统元数据分片的位置，以便进行元数据的索引 常见的元数据操作 Create 与 mds 交互获取 inode 和 dentry 的 copyset 位置 创建 inode© XXX Page 7 of 14 1. 3. 2. 1.

Chunk server 1、发起请求 2、查询元数据 5、返回结果 5、返回结果 user 3、查询leader节点 4、向leader cs发起请求 1. 用户发起请求； 2. Client 向 mds 查询请求的元数据， 并缓存到本地，请求转换为对 chunk 的请求 3. Client 向 chunkserver 查询 chunk 所在的 copyset的leader 可视化 • 每日报表 • 丰富的数据定位问题易运维 • 丰富的metric体系 • prometheus + grafana 可视化 • 每日报表 • 丰富的数据定位问题 • 集群状态查询工具 • curve_ops_tool • 自动化部署工具 • 一键部署，一键升级高质量 • 良好的模块化和抽象设计 • 完善的测试体系 • 单元测试 行覆盖80%+，分支覆盖70%+

client MDS leader Chunk server 1、发起请求 2、查询元数据 5、返回结果 5、返回结果 user 3、查询leader节点 4、向leader cs发起请求 1. 用户发起请求(fd, offset, length) ； 2. Client 向 mds 查询请求的元数据， 并缓存到本地，请求转换为对 chunk 的请求 (CopysetId (CopysetId ,chunkId, offset in chunk, length in chunk)； 3. Client 向 chunkserver 查询 chunk 所在的 copyset的leader Chunkserver节点； 4. Client 向 leader 发送读写请求client (IP, port, CopysetId, chunkId, offset in chunk, length

向 MDS获取 6. 拆分成的子请求放入队列CLIENT IO线程模型 IO分发线程 7. 从队列中取出子请求准备发送 8. 发送依赖复制组leader，可能会向 Chunkserver查询复制组leader 9. 发送写请求给Chunkserver BRPC线程 10.Chunkserver处理完成后返回RPC Response 11.用户请求的所有子请求完成后，调用 IOTracker::Done

用户发起快照，生成快照任务，并持久化到 etcd，开始执行快照任务。 • 2.在curve中创建内部快照，并返回快照信息， 然后将快照信息更新到etcd。此时，即返回用 户快照成功，可以进行读写。 • 3.向mds查询快照的元数据，转储快照元数据 块metaObject。 • 4.根据快照元数据信息，转储快照数据块 dataObject。 • 5.调用mds接口，移除curve内部的快照。 • 6.md