© XXX Page 1 of 24 Curve文件系统元数据管理（已实现）© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点： 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义： 4.2 dentry的定义： 4.3 内存组织 5 元数据分片 1、设计一个分布式文件系统需要考虑的点： 文件系统的元数据是否全缓存？ 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ inode+dentry方式？当前curve块存储的kv方式？ 是否有单独的元数据管理服务器？ 2、其他文件系统的调研总结 fs 中心化元数据 内存namespace元数据 内存空间分配元数据 元数据持久化 元数据扩展 小文件优化 空间管理单位 数据持久化 其他© XXX + name) segment kv → hashtable(key inode + offset) etcd 差 块设备，最小10GB segment + chunk raft 块设备的元数据管理 cephfs 3、各内存结构体 时间复杂度 空间复杂度 特点 可用实现 Btree 一个节点上保存多条数据，减少树的层次(4~5层)

并对以上文件系统在相同环境进行了元数据节点性能测试： 。测试结果c开发的moosefs和fastcfs元数据性能远优于go开发的chubaofs和c开发的cephfs，理论上分析这个结果是合理的，分布式的元数据设 调研测试 计会涉及到多次rpc的交互。这里需要确认的一点是：我们需要怎样的元数据节点的性能？ 可行性分析 方案对比 根据上述调研和测试结果，我们考虑了三种curvefs的元数据设计方案： 方案： CurveFS kv方案设计 curve实现块设备时，元数据不是扁平化的设计，而是采用来有目录层级的 namespace 方式，namespace 已经实现了 fs 元数据管理的雏形，具备了基本的元数据管理功能。（当时为什么要设计为 namespace 的管理形式？留有租户这个概念），直接基于 namespace 开发： a. 功能 软/硬链接：目前是都不支持的。软链接可以通过标识文件类型解决；由于 中包含文件的信息，包括用户，时间，软/硬链，数据分布等 元数据架构 元数据包含两个部分 卷的元数据管理 这部分 mds 已经实现。在上面架了一层文件系统后，卷信息中还需要包含文件系统元数据的路由信息 文件系统的元数据管理 需要记录 dentry，inode 这两层元数据。包括内存结构和持久化结构 下面先介绍文件系统的元数据管理，再介绍卷的元数据管理的变化 元数据节点的架构如下© XXX Page 6 of 14 1

修改者 修改内容 1.0 2021/7/23 陈威 初稿 1.1 2021/8/4 陈威 根据评审意见修改 1.2 2021/8/9 陈威 增加详细设计 1、背景 2、chubaofs的元数据管理 2.1、meta partition的创建 2.2、meta partition的管理 2.3、meta partition和inode以及dentry的对应关系？ 3、curvefs的copyset和fs的对应关系 而是每次都需 要去metaserver上去进行分配。 这里需要重新考虑curvefs的copyset和fs的元数据分片的对应关系。© XXX Page 3 of 19 2、chubaofs的元数据管理 chubaofs（补充链接）的元数据也是采用的raft的方式进行管理，可以借鉴一下chubaofs的元数据的分片策略。 通过分析chubaofs的源代码。chubaofs的用volume管理 ，在创建完成之后，才有inodeid。inodeid的分配最好下放到各个分片去进行处理。否则整个集群的inode都去一个地方获取id会 造成巨大的锁开销，这个是不能接受的。 curve块设备的元数据管理，在分配数据的时候，offset一开始就是知道的，这是和curvefs分配很大的一个不同点。 假设已经确定了一个分片规则，那么根据这个分片规则，一定可以找到两个函数 inodeid到copyset的映射：copysetid

Nacos 账号权限体系 103 Nacos 认证机制 110 Nacos 前端设计 117 Nacos 前端设计 117 Nacos 性能报告 122 Nacos Naming 大规模测试报告 122 Nacos ⽣态 130 Nacos Spring 生态 130 Nacos Docker & Kubernetes 生态 137 Nacos 服务网格生态 148 Nacos  服务管理：实现服务 CRUD，域名 CRUD，服务健康状态检查，服务权重管理等功能。  配置管理：实现配置管 CRUD，版本管理，灰度管理，监听管理，推送轨迹，聚合数据等功能。  元数据管理：提供元数据 CURD 和打标能力，为实现上层流量和服务灰度非常关键。 19 > Nacos 架构 内核层  插件机制：实现三个模块可分可合能力，实现扩展点 SPI 机制，用于扩展自己公司定制。 命名空间（Namespace） 用于进行租户粒度的配置隔离。不同的命名空间下，可以存在相同的 Group 或 Data ID 的配置。 Namespace 的常用场景之⼀是不同环境的配置的区分隔离，例如开发测试环境和生产环境的资源 （如数据库配置、限流阈值、降级开关）隔离等。如果在没有指定 Namespace 的情况下，默认使 用 public 命名空间。 配置组（Group） Nacos 中的⼀

Pod伸缩管理 集群伸缩管理 变更管控 配额管理 运维原子操作 精细化调度 接入层流程调拨 应用层流量调拨 跨集群状态 分发/汇聚 数据层流量调拨 压测/灰度 流量管理 单元化 元数据管理 弹性流量管理 跨集群发布策略 多集群管理 跨集群网络 跨集群镜像管理 蓝绿发布 灰度分组发布 中间件变配 （DRM/Scheduler/Message） Mesh流调拨和治理 弹性建站/下站

. . . . . . . . . . . . . 1123 25.2 doctest —测试交互性的 Python 示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1124 25.3 unittest —单元测试框架 . . . . . . . . . . . . . . . . . . . . . . BaseException, the associated value is present as the exception instance’s args attribute. 用户代码可以引发内置异常。这可被用于测试异常处理程序或报告错误条件，“就像”在解释器引发了相同 异常的情况时一样；但是请注意，没有任何机制能防止用户代码引发不适当的错误。 内 置 异 常 类 可 以 被 子 类 化 以 定 义 新 的 异 的最大尺寸，如果没有限定的话就是 None 。 2.7 新版功能. 除了以上，deque 还支持迭代，清洗，len(d), reversed(d), copy.copy(d), copy.deepcopy(d), 成 员测试 in 操作符，和下标引用 d[-1] 。索引存取在两端的复杂度是 O(1)，在中间的复杂度比 O(n) 略低。 要快速存取，使用 list 来替代。 示例: 168 Chapter 8. 数据类型

. . . . . . . . . . . . . 1123 25.2 doctest —测试交互性的 Python 示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1124 25.3 unittest —单元测试框架 . . . . . . . . . . . . . . . . . . . . . . BaseException, the associated value is present as the exception instance’s args attribute. 用户代码可以引发内置异常。这可被用于测试异常处理程序或报告错误条件，“就像”在解释器引发了相同 异常的情况时一样；但是请注意，没有任何机制能防止用户代码引发不适当的错误。 内 置 异 常 类 可 以 被 子 类 化 以 定 义 新 的 异 的最大尺寸，如果没有限定的话就是 None 。 2.7 新版功能. 除了以上，deque 还支持迭代，清洗，len(d), reversed(d), copy.copy(d), copy.deepcopy(d), 成 员测试 in 操作符，和下标引用 d[-1] 。索引存取在两端的复杂度是 O(1)，在中间的复杂度比 O(n) 略低。 要快速存取，使用 list 来替代。 示例: 168 Chapter 8. 数据类型

. . . . . . . . . . . . . 1123 25.2 doctest —测试交互性的 Python 示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1124 25.3 unittest —单元测试框架 . . . . . . . . . . . . . . . . . . . . . . BaseException, the associated value is present as the exception instance’s args attribute. 用户代码可以引发内置异常。这可被用于测试异常处理程序或报告错误条件，“就像”在解释器引发了相同 异常的情况时一样；但是请注意，没有任何机制能防止用户代码引发不适当的错误。 内 置 异 常 类 可 以 被 子 类 化 以 定 义 新 的 异 的最大尺寸，如果没有限定的话就是 None 。 2.7 新版功能. 除了以上，deque 还支持迭代，清洗，len(d), reversed(d), copy.copy(d), copy.deepcopy(d), 成 员测试 in 操作符，和下标引用 d[-1] 。索引存取在两端的复杂度是 O(1)，在中间的复杂度比 O(n) 略低。 要快速存取，使用 list 来替代。 示例: 168 Chapter 8. 数据类型

收集集群状态信息，自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点，负责元数据管理、集群状态收集与调度。MDS包含以下几个部分： • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: 副本放置策略。