rename 接口实现方案（已实现，选用方案二） 背景 • 方案调研 • Chubaofs • Juicefs • 方案实现 • 方案一：chubaofs • 方案二：事务方案 • 方案三：利用 KV 自带的分布式事务 • Q&A • 1. 是否需要实现跨文件系统的 rename 操作？ • 2. 在多客户端情况下，是否需要加锁来保证其原子性？ • 3. rename rename 接口，本文档是对 rename 接口实现的调研及方案设计。 rename 操作，主要操作的是 dentry，如 rename /dir1/file1 /dir2/file2，主要有 2 个步骤：（1）删除 file1 的 dentry，（2）增加 file2 的 dentry（该 dentry 的 inodeid 等同 file1 的 inode id）。关于 rename 接口的实现，主要调研了 dentry，相当于多了一个硬链接，Linux 和 POSIX 接口中表明这允许一段时间内存在，但是最终还是要原子性，所以这一步出错会导致和本地文件系统不一致的行为： 1. Linux 接口定义允许 rename 过程中某一段时间存在这样的硬链接（或者 rename 执行到一半断电也会存在） 2. 而 POSIX 接口中提到了该函数得是原子（不断电的情况下，rename 操作不能被其他操作打断，不存在中间状态）

curve文件系统元数据proto（代码接口定义，已实现） ## 1、 代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块，在当前curve项目的目录下，增加一个一级目录curvefs，curvefs下有自己独立的proto\src\test。 ![Image](/uploads/documents/6/5/7/9/6579a4e9a6fde3e069fddf95fb76e7bd/p2_1

# 现代编程思想 接口 Hongbo Zhang ## 回顾 ## • 第六课：定义平衡二叉树 我们定义一个更一般的二叉搜索树，允许存放任意类型的数据 1. enum Tree[T] { 2. Empty 3. Node(T, Tree[T], Tree[T]) 4. } 5. 6. // 我们需要一个比较函数来比较值的大小以了解顺序 7. // 负数表示小于，0表示等于，正数表示大于 我们将这类函数称为方法 ## 接口 Trait ## • 我们通过接口定义一系列方法的实现需求 1. trait Compare { 2. compare(Self, Self) -> Int // Self代表实现该接口的类型 3. } 4. trait Default { 5. default() -> Self 6. } ## • 月兔中的接口是结构化的 ◦ 无需 无需声明为特定的接口实现方法，类型本身实现方法即可 ## 接口 Trait • 我们可以在泛型的参数上添加接口的要求 ☐ 限制参数的类型： <类型参数> ： <接口> ☐ 在函数中使用接口定义的方法： <类型参数>::<方法名> 1. fn make[T: Default]( ) -> Queue[T] { // 类型参数T应当满足Default接口

- 特殊情况 - 空间回收 - 小文件处理 - 并发问题 - 文件系统扩容 - 接口设计 - RPC接口 - 空间分配器接口 ## 背景 根据CurveFS方案设计（总体设计，只实现了部分），文件系统基于当前的块进行实现，所以需要设计基于块的空间分配器，用于分配并存储文件数据。 ## 本地文件系统空间分配相关特性 局部性 尽量分配连续的磁盘空间，存储 [Image](/uploads/documents/f/d/4/b/fd4b2544c4bddb59fba9ae0d89e93c76/p3_1.jpg) Level2 free extent 分配器包括两层结构： 第一层用`Bitmap`进行表示，每个`Bit`标识其所对应的一块空间（以4MiB为例，具体大小可配置）是否分配出去。 第二层为free extent list，表示每个已分配的 list，表示每个已分配的块，哪些仍然是空闲的（offset，length），以offset为key进行排序（这里可以用map或者tree对所有的free extent进行管理）。 当前设计不考虑持久化问题，空间分配器只作为内存结构，负责空间的分配与回收。在初始化时，扫描文件系统所有inode中已使用的空间。 ## 空间分配流程 在新文件进行空间分配时，随机选择level1中标记为0的块，先预分配给这个文件，但是并不表示这个块被该文件独占。

|---|---|---|---| |机制保证|测试预览、穿越预览|多重审核|回滚| |解决问题|C端展示问题、链接异常、平台差异|敏感内容过审、图片质量|出错处理、排期问题、最大限度止损| ## 接口SDK化 对于运营数据，无论是通过数据库的落地方案、还是通过分布式缓存的方案，都无法彻底解决服务中心化和服务抖动的问题。通过接入的SDK化，可以做到数据的本地缓存更新机制，解除对中心化服务的依赖， ## 八、 总结与展望 本文通过美团点评移动运营平台的实践，详细介绍了我们在打造稳定、灵活、高效的运营配置平台过程中遇到的问题和挑战，同时本文也提供我们的解决思路：通过数据JSON化，运营流程化，接口SDK化分别解决了运营平台的灵活性、高效性和稳定性。APPKIT帮助产品、运营和研发提升C端的开发和运营效率，加速产品的迭代进程。 目前基于APPKIT的平台化特性，对App的模块化配置、Picasso 多语言客户端需求日益增多，除 Java 客户端外，目前提供了 C/C++、Python、Node.js、Golang 客户端，基本覆盖了主流的开发语言。对于多语言客户端，核心设计目标是利用 C 客户端提供核心 API 接口作为底层基石，封装其他语言 SDK。 

CurveFS Client 概要设计（已实现） 背景 - 概述 - 关键接口分析 - init - destroy - lookup - write - read • open • create & mknod • mkdir • forget • unlink • rmdir • opendir • readdir · 接口设计 · Cache设计 |时间|作者|内容| |---|---|---| |2021-04-27|许超杰|初稿| |||| |||| |||| ## 背景 CurveFS初步设计见 CurveFS方案设计（总体设计，只实现了部分），目前需细化Client端设计 ## 概述 CurveFS client 向上提供两层接口，分别是 对接fuse，提供通用文件系统接口。对于 fuse接口，先前进行了一些调研，见FUSE调研 提供lib库，提供对接分布式数据库接口，这一部分，可参考polarfs的接口，如下图所示。 int pfs_mount(const char *volname, int host_id) int pfs_umount(const char *volname) int pfs_mount_growfs(const char *volname) int

[Image](/uploads/documents/d/1/e/6/d1e62646408551dcc5c371bff0689c8d/p2_1.jpg) ### 1. Memory Allocator 内存分配器 ## base on tcmalloc 基于成熟方案，性舱优秀。随着版本升级，针对性改进，以期与垃圾回收器更好协作。 核心：自主管理，缓存复用，无锁分配。 page, span. 内存管理以

为更好的支持云原生的场景，Curve需要支持高性能通用文件系统，其中高性能主要是适配云原生数据库的场景。当前Curve是实现了块存储，向上提供块设备服务，CurveFS会基于此实现。第一阶段的目标是实现满足数据库场景的文件接口。 调研 开源fs 当前对已有的开源分布式文件系统进行了调研，主要包括系统架构，元数据内存结构，元数据持久化，调研文档如下： chubaofs: ChubaoFS moosefs: https://kms 弱一些 ### b. 扩展性/可用性/可靠性 使用 multi-raft，扩展性、可用性和可靠性与元数据节点一致 ## 对比结论 CurveFS 近期要能支持 mysql 所要接口，长期需要支持通用文件接口。 kv 虽然改造简单，短期内对基本功能的支持没有问题，但这个架构不利于 Curve 长期的规划和演进，因此选择通用的 dentry，inode 两层映射的元数据结构。对于 fs 的场 metaserver 1. inode/dentry的内存组织形式 2. 数据持久化 3. client 1. curvefs 的 client 开发 4. 快照逻辑 5. 各接口实现元数据交互流程 ## 元数据设计 ## 元数据设计分以下几个部分 1. inode 和 dentry 的数据结构（inode 和 dentry 两个结构描述还是由一个dentry描述所有信息）