KVStore 当前实现可先只实现 KVStore（提供方便 API），Raft 等可以后续接入（目前实现中持久化可以在 KVStore 退出时触发持久化，或定时持久化）© XXX Page 8 of 12 class KVStore : public braft::StateMachine { public: enum class OP_TYPE { OP_TYPE_SET, OP_TYPE_DEL

TYPE_FILE, TYPE_SYM_LINK, }; class VolumeSpaceItem { uint64_t volumeOffset; // uint64_t length; // bool used; // // TODO: }; class Inode { public: Inode(); private: 6 of 24 4.2 dentry的定义： dentry定义见：curve文件系统元数据proto（代码接口定义，已实现） typedef uint64_t InodeId; class Dentry{ uint64_t fsId; InodeId parentId; InodeId inode; string name; }; 4.3 内存组织 in case 3: deal 3 break } err handle } inode和dentry的内存管理结构 class InodeKey { uint64_t fsId; InodeId inodeId; }; class InodeManager { public: void Insert(const Inode &inode); bool Get(const

S3ChunkInfoList> s3ChunkInfoMap = 14; // TYPE_S3 only, first is chunk index optional uint64 version = 15; } class ClientS3Adaptor { public: ClientS3Adaptor () {} void Init(const S3ClientAdaptorOption option std::shared_ptr fsCacheManager_; std::shared_ptr inodeManager_; }; class S3ClientAdaptor; class ChunkCacheManager; class FileCacheManager; class FsCacheManager; using FileCacheManagerPtr = std::shared_ptr; using using ChunkCacheManagerPtr = std::shared_ptr; using DataCachePtr = std::shared_ptr; class FsCacheManager { public: FsCacheManager() {} FileCacheManagerPtr FindFileCacheManager(uint32_t fsId, uint64_t

11 of 30 $ ETCDCTL_API=3 ./bin/etcdctl put foo bar $ ETCDCTL_API=3 ./bin/etcdctl get foo --write-out=json revision: 2 $ ETCDCTL_API=3 ./bin/etcdctl put foo bar $ ETCDCTL_API=3 ./bin/etcdctl get ETCDCTL_API=3 ./bin/etcdctl put hello world $ ETCDCTL_API=3 ./bin/etcdctl get foo --write-out=json revision: 4 $ ETCDCTL_API=3 ./bin/etcdctl get hello --write-out=json revision: 4 $ ETCDCTL_API=3 ./bin/etcdctl /bin/etcdctl put hello world $ ETCDCTL_API=3 ./bin/etcdctl get hello --write-out=json revision: 5 3.2.2 举例说明Campagin流程 场景描述：三个mds(mds1, mds2, mds3)，希望实现一个mds作为主提供服务，另外两个mds作为备在主挂掉的时候提供服务的功能。如果利用上述的Campagin进行选举，过程如下：

应文件。 同时，缓存清理模块会定时检查本地硬盘缓存目录容量情况，如果容量已经达到阈值了，则进行文件的清理工作。 另外，异常管理模块处理客户端挂掉后的文件重新上传问题。 主要数据结构定义 class DiskCacheManagerImpl : public DiskCacheManager{ public: DiskCacheManagerImpl(); virtual std::set cachedObjName; // uint64_t maxCachedObj; // ? bthread::Mutex mtx_; }; class DiskCacheWrite { public: DiskCacheWrite() {} virtual ~DiskCacheWrite() { AsyncUploadStop(); curve::common::InterruptibleSleeper sleeper_; std::string CacheWriteDir_; std::string CacheDir_; }; class DiskCacheRead { public:© XXX Page 7 of 9 DiskCacheRead() {} virtual ~DiskCacheRead() {}

volume = 10; optional common.S3Info s3Info = 11; } client端数据结构© XXX Page 5 of 11 // clients3 class S3ClientAdaptor { public: S3ClientAdaptor() {} void Init(const S3ClientAdaptorOption option buf); private: S3Client* client_; uint64_t blockSize_; uint64_t chunkSize_; }; //s3 class S3Client { public: S3Client() {} virtual ~S3Client() {} virtual void Init(curve::com (UnInitSpaceResponse); rpc AllocateS3Chunk(AllocateS3ChunkRequest) returns (AllocateS3ChunkResponse); } class S3Allocator { public: explicit S3Allocator(uint64_t startChunkId) : chunkId_(startChunkId) {}©

Curve分布式⽂件存储 • ⾼性能、易运维、云原⽣Curve⽂件系统框架和主要应⽤场景 • AI机器学习场景 • ⼤数据计算场景 • 中间件数据存储场景 • ⽀持POSIX兼容的⽂件API • ⽀持低延迟的⽂件数据访问Curve⽂件系统⾯临的问题 • ⽤户态实现 • 稳定性/可靠性⾼ • 容易更新及维护 • 基于FUSE提供POSIX兼容⽂件接⼝ • 问题 • 瓶颈在/dev/fuse通讯开销基于FUSE可能的优化点 • 降低内核与libfuse通讯延迟 • 基于⽂件属性的操作内核直接返回？ • 基于⽂件数据的操作先内核读写 cache？实现POSIX兼容API途径及问题 • 基于FUSE的实现 • curve / ceph / gluster • LD_PRELOAD重载⽂件系统系统调⽤ • vpp / f-stack / DirectFUSE google android12 passthrough什么是eBPF • ebpf是不同环境下内核配置， 调试，监控⼯具 • map映射 • 验证器 • Hook • Helper api配置TCP Initial RTO • 场景 内核4.12之前 initial RTO是⼀个常数1s • 应⽤类型BPF_PROG_TYPE_SOCK_OPS • HOOK BPF_SOCK_OPS_TIMEOUT_INIT

(DeallocateSpaceResponse); } 空间分配器接口 空间分配器相关接口及部分数据结构定义如下： #include #include enum class AllocateType { NONE = 0, SMALL = 1, BIG = 2 }; struct AllocateHint { AllocateType Extent { uint64_t offset = 0; uint32_t len = 0; }; using Extents = std::vector; class Allocator { public: Allocator(...) {} virtual ~Allocator() = default;© XXX Page 10 of 11

继续申请新的 Bundle 首次连接 etcd etcd 环境切换 storeKey_ 被删除 其他 storeKey_ 在etcd上的Value不可解码 返回一个新的chunkid 方案 class ChunkIDGenerator { client_; // etcd chunkIdStoreKey_; // chunkid 存储在etcd上的 key nextId_; //

on-prem OSSCurveBS • high performance • mainly used for (SSD, three replicas) • csi / storage class for kubernete, nbd for HOST/VMPerformance (vs. Ceph RBD)Performance (vs. Ceph RBD)CurveBS Features