© XXX Page 1 of 15 curvefs client 删除文件和目录功能设计© XXX Page 2 of 15 背景 相关调研 moosefs chubaofs 方案设计思考 1.Trash机制是实现1个(类似chubaofs)，还是2个（类似moosefs）？ 2. Trash放在哪里？ 3. 是否需要做session机制（在metaserver打开），来维护inode的打开情况？ ent崩溃） 相关调研 moosefs moosefs 未对接forget moosefs 实现了在mds上open，因此删除时可以判断文件是否被打开 moosefs使用了两种机制，来实现上述功能，分别是trash机制和reserve机制（最新版本叫sustained），两种机制如下： trash机制： 对于所有TYPE_FILE类型的文件在删除时， ，则不会立即将该文件彻底删除，而是将 inode的打开情况？ 经讨论，需要实现session机制，以应对打开文件被另一个进程删除的场景的场景。 方案设计 经小组会议讨论，决定使用trash + session机制去实现上述功能。 ulink流程如下：© XXX Page 10 of 15© XXX Page 11 of 15 1. 2. 3. 1. 2. 3. 4. 5. Trash机制：

Curve团队采用敏捷开发模式，负责人在制定迭代计划时，确认哪些任务需要设计 文档：  小需求（改动小）将实现思路记录到任务管理系统中（JIRA），即可进行开发；  大需求（新模块、复杂功能）需要输出独立设计文档，并进行评审；对于功能或 性能影响较大的功能，还需要进行POC验证；评审和验证通过后才能启动开发 工作。 小需求 实现思路 开发 大需求 设计文档 POC 开发 7/33设计文档规范 设计文档需要具备以下内容： 设计文档需要具备以下内容：  修订记录  审批记录  系统介绍  相关调研  架构  重要流程  关键算法  接口  数据库设计  非功能特性设计  参考文献 8/33代码编写规范 Curve代码编写规范遵循Google Style Guides（https://google.github.io/styleguide/） 9/33新代码提交 Dailybuild测试 查、单元测试、集成测 试、覆盖率80%卡点） 邮件通知 Curve所有代码均在github托管。新 代码需要通过CI测试和code review才 能合入master分支，确保新合入代码 的功能、正确性、规范性等都有基本 保障；而每日运行的dailybuild测试在 CI测试基础上增加了异常自动化测试 和混沌测试，确保master分支代码的 bug尽可能早地暴露出来。 通过这种流程，curve可以在一定

unlink rmdir opendir readdir getattr & setattr access rename symlink & readlink link flush & fsync 其他 功能分析 模块划分 接口设计 Cache设计 时间 作者 内容 2021-04-27 许超杰 初稿 背景 CurveFS初步设计见 ， 目前需细化Client端设计 void (*mknod) (fuse_req_t req, fuse_ino_t parent, const char *name, mode_t mode, dev_t rdev); 这两个函数的功能是类似，都用来创建文件。 根据parent inode id 和name，向mds查询创建dentry和inode的位置，去meta server创建dentry和inode 预分配一些空间？可先不做 xattr系列接口，chubaofs都没实现，目前先不考虑 fuse高版本新增的接口如lseek等，在低版本中没有，因此不是必须接口，也先不实现。 功能分析 根据上述接口的分析，可以把client端的功能进行汇总，client需实现的功能主要有： 缓存文件系统元数据（包括super block， bitmap & allocator等） 缓存文件和目录信息（包括inode struct，dentry

。 。 。 内核执行标准的 UNIX 权限检查 如果文件系统在打开设备 fd 时的初始功能协商期间启用了 ACL 支持，则此挂载选项将被隐式激活。 在这种情况下，内核执行 ACL 和标准的 unix 权限检查 疑问：协商期间do_init()中的启用ACL的flags如何设置？ 初始化时的 通过 ： 功能协商 init()函数实现© XXX Page 9 of 33 // libfuse lib/fuse_lowlevel 的控制。可以针对用户（User）、群组（Group） 附加安全控制功能 更灵活、更细粒度 、默认属性掩码（umask）进行设置。 ACL是Linux系统权限额外支持的一项功能，需要文件系统的支持，例如：ReiserFS , EXT2 , EXT3 , EXT4 , JFS , XFS等都支持ACL功能。使用‘dumpe2fs’命令查看你的ACL功能是否启用： # acl root@pubbeta2-curve5:/home/nbs# 在外存中具体存放的位置，以及如何从外存中读取和写入原始 ACL 内容。涉及到 VFS 和具体的物理文件系统，这里以Ext4文件系统为例说明。© XXX Page 28 of 33 在 Linux 操作系统中，如果libattr 功能在内核设置中被打开， ext2 、 ext3 、 ext4 、 JFS 、 ReiserFS 以及 XFS 文件系统都支持 。任何一个普通文件都可能包 扩展属性（简写为xattr, 详见 ） man

●有完善的配置功能，ucx_info可以dump配置信息 ●有性能测试工具 ●比较详细的文档2223 UCS ●是一些工具代码，例如 –链表 –hash table –epoll event loop – memory register cache –config file24 UCT ●特点是比较原始，开销小，但是没有很强的功能 ●是网络接口层，主要功能是网卡发现和远程 fetch, compare and set ●Tag match ●client/server模式的Listener, Ep(endpoint)26 UCP ●构建于uct之上，实现更加高级的功能,容易使用，但有一定开销。 ●UCT和UCP两者都有context概念，但是UCT只对一块网卡，而UCP把若干个UCT组合起 来，自动选择最快路径传输。 ●高级特性 –大消息报文的自动分片传输 tag match, stream27 典型的RDMA栈28 UCX 编程的一些基本概念 ●Context –收集机器资源（内存，网卡等)，在应用的各个部分共享 ●Worker –完成ucx的功能，可以在应用程序中调用的函数（不是单独执行的线程） ●Listener –接收连接请求 ●Ep –连接对象，在ep上请求发送和接收29 UCP 消息接口类型 ●Active message

• 增量转储，第一次全量转储s3之后，后续只需转储增量部分 • 高可用，快照任务中断自动拉起继续转储快照和克隆的特点 • 克隆的定义 • 克隆是指从卷复制出卷的功能，提供快速的复制卷的能力。 • 这里的克隆还包括从快照回滚的功能 • 克隆的特点 • 支持Lazy和非Lazy两种模式克隆 • 支持从快照克隆和从镜像（卷）克隆 • 支持从快照回滚 • 高可用，克隆任务中断自动拉起继续克隆快照克隆服务器架构 Serivce层面区分上层请求为同步接口调用，还是异步接口调用， 同步接口调用直接调用Core层接口实现功能，异步接口创建Task， 并交由TaskManager调度。 SnapshotService & CloneService: • 任务管理层负责调度SnapshotTask和CloneTask，并向上提供如 cancel task等功能。 SnapshotTaskManager & CloneTaskManager: CloneTaskManager: • 快照克隆核心模块，负责向下调用DataStore，MetaStore等底层 模块，实现快照和克隆的具体功能。 SnapshotCore & CloneCore:快照克隆服务器架构 • SnapshotDataStore负责管理快照转储的数据块，通过调用 S3Adaptor（一个封装了s3 client的接口层）与S3交互，存取s3 中的对象。 SnapshotDataStore:

、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器，利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 1. 故障域的隔离：比如副本的放置分布在不同机器，不同机架，或是不同的交换机下面。 2. 隔离和共享：不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离，server不能跨 in chunk, length in chunk), Chunkserver 完成后通知； 5. Client通知用户请求完成。HEARTBEAT 心跳用于中心节点和数据节点的数据交互，详细功能如下： • 通过chunkserver的定期心跳，检测chunkserver的在线状态（online, unstable, offline） • 记录chunkserver定期上报的状态信息（磁 模块进行均衡及配置变更的依据 • 通过chunkserver定期上报copyset的copyset的epoch， 检测chunkserver的copyset与mds差异，同 步两者的copyset信息 • 支持配置变更功能，在心跳回复报文中下发mds发起的配置变更命令，并在后续心跳中获取配置 变更进度。HEARTBEAT MDS端：mds 端的心跳主要由三个部分组成： • TopoUpdater: 根据 chunkserver

 实现PostgreSQL/PolarDB数据库的私有云 RDS产品  PostgreSQL/PolarDB集群统一管理、统一运 维。  PostgreSQL/PolarDB集群可以用功能（即故 障自动切换）  实现对PostgreSQL/PolarDB的监控管理  对PostgreSQL/PolarDB的TopSQL的管理  架构说明  有一台机器上部署的CLup管理节点，这个管 数据同步复制 写请求 读请求 应用层 负载均衡器 CLup高可用及读写分离功能http://www.csudata.com │中启乘数科技（杭州）有限公司 数据赋能│价值创新 Clup管理界面-性能监控http://www.csudata.com │中启乘数科技（杭州）有限公司 数据赋能│价值创新 CLUP TOP SQL功能http://www.csudata.com │中启乘数科技（杭州）有限公司 华北2（北京）可用区K • 华南1（深圳）可用区F。 只有某些规格的虚拟机可以挂载Nvme共享盘： • g7se • c7se • r7se 虚拟机要求是按量付费才可以挂载Nvme共享盘 阿里云的VIP功能目前还在内侧阶段，需要申请其他云环境中使用CLup创建Polardb的情况  天翼云 共享盘：所有虚拟机都 可以挂载 有VIP 机器有反亲和性  华为云 有共享盘 有VIP

1 基于SPDK的CurveBS PFS存储引擎10/17/22 2 Why ●为了减少使用cpu做内存copy，减少系统调用 ●发挥某些被操作系统屏蔽的功能，例如nvme write zero ●根据阿里《When Cloud Storage Meets RDMA》的说法 ●在100Gbps网络带宽时，内存带宽成为瓶颈 ●Intel Memory Latency Checker (MLC)测试得到的CPU内存带宽是 ●应用程序不再通过系统调用在内核和用户态来回切换10/17/22 4 磁盘的读写 ●基于EXT4的存储引擎，依然需要通过系统调用来回切换 ●读写都需要CPU拷贝数据 ●不能发挥某些NVME的功能，例如write zero10/17/22 5 为什么用PFS ●对代码比较熟悉 ●找一个能管理裸盘，具有产品级可靠性的代码挺难的 ●PFS支持类POSIX文件的接口，与使用EXT4的存储引擎代码很像， y。10/17/22 15 写入nvme的零copy实现 ●当前只支持到SGL，对于PRP的实现不支持。 ●对于只支持PRP的nvme，可以开启读数据零copy功能 ●对于支持SGL的nvme，可以同时开启读、写零copy功能 ●RDMA模块当前还未完成修改，需要修改ucx内存分配，使用dpdk内 存，才可以完成DMA写NVME10/17/22 16 PFS DMA 总体架构10/17/22

的设计，而是采用来有目录层级的 namespace 方式，namespace 已经实现了 fs 元数据管理的雏形，具备了基本的元数据管理功能。（当时为什么要设计为 namespace 的管理形式？留有租户这个概念），直接基于 namespace 开发： a. 功能 软/硬链接：目前是都不支持的。软链接可以通过标识文件类型解决；由于 prefix + parentid + filename 作为 使用 multi-raft, 扩展性、可用性和可靠性与元数据节点一致 对比结论 CurveFS 近期要能支持mysql所要接口，长期需要支持通用文件接口。 kv 虽然改造简单，短期内对基本功能的支持没有问题，但这个架构不利于 Curve 长期的规划和演进，因此选择通用的 dentry，inode 两层映射的元数据结构。对于 fs© XXX Page 4 of 14 的场景，元数据的量比 存储在卷上方案）#PolarFS 上述fs可以分为两类 chubaofs/moosefs 属于利用本地文件系统去构建分布式fs。一个文件的数据对应本地文件系统上的一个文件，通过本地文件系统的打洞功能实现部分空间的回收。 blustore/polarfs 直接在块设备上构建分布式fs。一个文件的数据对应块设备上某个空间，因此需要知道块设备的哪些空间是空闲的，哪些是已经分配出去的, 需要一个空间分