Curve文件系统空间分配方案（基于块的方案，已实现） - 背景 - 本地文件系统空间分配相关特性 - 局部性 - 延迟分配/Allocate-on-flush - Inline file/data - 空间分配 - 整体设计 - 空间分配流程 - 特殊情况 - 空间回收 - 小文件处理 - 并发问题 - 文件系统扩容 - 接口设计 接口设计 - RPC接口 - 空间分配器接口 ## 背景 根据CurveFS方案设计（总体设计，只实现了部分），文件系统基于当前的块进行实现，所以需要设计基于块的空间分配器，用于分配并存储文件数据。 ## 本地文件系统空间分配相关特性 局部性 尽量分配连续的磁盘空间，存储文件的数据。这一特性主要是针对HDD进行的优化，降低磁盘寻道时间。 延迟分配/Allocate-on-flush 几百字节的小文件不单独分配磁盘空间，直接把数据存放到文件的元数据中。 针对上述的本地文件系统特性，Curve文件系统分配需要着重考虑局部性。 虽然Curve是一个分布式文件系统，但是单个文件系统的容量可能会比较大，如果在空间分配时，不考虑局部性，inode中记录的extent数量很多，导致文件系统元数据量很大。 假如文件系统大小为1PiB，空间分配粒度为1MiB，inode中存储的extent为三元组

Curve文件系统元数据管理（已实现） Inode 1、设计一个分布式文件系统需要考虑的点： • 2、其他文件系统的调研总结 • 3、各内存结构体 • 4、curve文件系统的元数据内存组织 • 4.1 inode定义： • 4.2 dentry的定义： • 4.3 内存组织 5元数据分片 • 5.1 分片方式一：inode和dentry都按照parentid分片 5.1 /B/E，指向文件/A/C • 6、curve文件系统的多文件系统的设计 ## 1、 设计一个分布式文件系统需要考虑的点： 1. 文件系统的元数据是否全缓存？ 2. 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ 3. inode+dentry方式？当前curve块存储的kv方式？ 4. 是否有单独的元数据管理服务器？ ## 2、 其他文件系统的调研总结 |fs|中心化元数据|内存 ++ stl unordered\_mapmoose, 使用c实现| |||||| ## 4、 curve文件系统的元数据内存组织 curve文件系统元数据主要有3个类型，inode，dentry，extent。 ### 4.1 inode定义： inode定义见：curve文件系统元数据proto（代码接口定义，已实现） typedef uint64_t InodeId; enum FileType

curve文件系统元数据proto（代码接口定义，已实现） ## 1、 代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块，在当前curve项目的目录下，增加一个一级目录curvefs，curvefs下有自己独立的proto\src\test。  ## 2、 文件系统proto定义 #### 2.1 mds.proto mds.proto /* * Copyright (c) 2020 NetEase Inc. * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use

GO CN Go在百亿级分布式文件系统的实践 徐桑迪 Juicedata 核心系统工程师 JuiceFS 简介 01 为什么选择 Go 02 基础内存优化 03 深度内存优化 04 内存快照持久化 05 第一部分 JuiceFS 简介 ’ alt=‘OCR图片’/> JuiceFS 简介 为云环境设计的分布式文件系统 兼容POSIX、HDFS和S3协议 支持回收站、目录配额、克隆 单命名空间支持百亿级文件数 errs <- s.Put(key, p) }() } ’ alt=‘OCR图片’/> 第四部分 深度内存优化 ’ alt=‘OCR图片’/> 深度内存优化 文件系统元数据服务进程： 占用近百 GiB 内存 缓存尽可能多的文件（十亿级） 高速处理元数据请求（百微秒） ’ alt=‘OCR图片’/> 深度内存优化 自主管理小对象的分配 GC 全局能看到的指针要少 map[uint32, uintptr] nodeMap[n.id] = uintptr(unsafe.Pointer(n))) ’ alt=‘OCR图片’/> 深度内存优化 结构体打包序列化和压缩 文件系统天然具有组织结构（目录树） 访问请求通常具有局部性 ’ alt=‘OCR图片’/> 结构体序列化和压缩 struct encoding ’ alt=‘OCR图片’/> 深度内存优化 动态定义参数值的意义（类似union）

# 从百度文件系统 看大型分布式系统设计 颜世光 百度 搜索基础架构 ## 促进软件开发领域知识与创新的传播  关注InfoQ官方信息 及时获取QCon软件开发者 大会演讲视频信息  分布式计算框架 Shuttle 分布式文件系统 BFS 集群调度系统 Galaxy 分布式协调服务 Nexus 网络通信框架Sofa-pbrpc ## 数据中心操作系统(DCOS) ## • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 ## • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 ## • 文件系统 - The Baidu File

方案对比 • 对比结论 • 架构设计 卷和文件系统 元数据架构 文件系统快照 • 方案一：文件/目录级别快照 • 方案二：文件系统快照 • 关键点 - 元数据设计 - 数据结构 - 索引设计 - 文件空间管理 - 开发计划及安排 ## 背景 为更好的支持云原生的场景，Curve需要支持高性能通用文件系统，其中高性能主要是适配云原生数据库的场景。当 前Curve是实现了块存储，向上提供块设备服务，CurveFS会基于此实现。第一阶段的目标是实现满足数据库场景的文件接口。 调研 开源fs 当前对已有的开源分布式文件系统进行了调研，主要包括系统架构，元数据内存结构，元数据持久化，调研文档如下： chubaofs: ChubaoFS moosefs: https://kms.netease.com/team/km_curve/article/27786 com/team/km_curve/article/29140 cephfs: https://kms.netease.com/team/km_curve/article/27909 ## 性能对比 并对以上文件系统在相同环境进行了元数据节点性能测试：调研测试。测试结果c开发的moosefs和fastcfs元数据性能远优于go开发的chubaofs和c开发的cephfs，理论上分析这个结果是合理的，分布式的元

## 采用eBPF加速云原生环境中 Curve文件系统性能 网易数帆科技 向东  ## I AS 2022 ## 提纲 - 什么是Curve - Curve的应用场景及挑战 - Curve客户端面临问题及分析 - 什么是ebpf data ## Curve文件系统框架和主要应用场景 • AI机器学习场景 • 大数据计算场景 • 中间件数据存储场景 - 支持POSIX兼容的文件API - 支持低延迟的文件数据访问  ## Curve文件系统面临的问题 • 用户态实现 用户态实现 • 稳定性/可靠性高 - 容易更新及维护 - 基于FUSE提供POSIX兼容文件接口 • 问题 - 相对kernel文件系统的实现(ext4, xfs)性能差异大，延迟高  ## FUSE文件IO读写流程 - 场景1 pytorch

Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称 HDFS。HDFS 有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high th 放宽了（relax）POSIX 的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 为海量的数据提供了存储，而 MapReduce 则为海量的数据提供了计算。 ### 1.4 HDFS 架构原理 HDFS 是 Hadoop 分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。采用 master/slave 架构。一个 HDFS 集群包含一个单独的 NameNode 和多个 DataNode。 NameNode 作为 master 服务，它负责管理文件系统的命名空间和客户端对文件的访问。NameNode 会保存文件系统的具体信息，包括文件信息、文件被分割成具体 block 块的信息、以及每一个 block 块归属的 DataNode 的信息。对于整个集群来说，HDFS 通过 NameNode