XXX Page 10 of 30 etcd中的revision是全局的，只要有key-value的修改(put, delete txn)，revision都会增加。举例说明：© XXX Page 11 of 30 $ ETCDCTL_API=3 ./bin/etcdctl put foo bar $ ETCDCTL_API=3 ./bin/etcdctl get foo --write-out=json [事件2] 如果事件1先发生，那么就是MDS1退出后，MDS2再当选为leader, 如果事件2先发生，那么就是MDS2当选为leader时，MDS1还在提供服务， ，这是有问题的。 出现双主 双主出现的时间有多久呢？如下图：双主的时间为PeriodicGetTime ① 红色的点是etcd集群选主成功的时间点，选主成功之后MDS1的lease过期，Leader/MDS1被删除 ② 绿色的点是MDS2收 点。此时MDS2启动并提供服务 ③ 黄色的点是最坏情况，MDS1在绿色点和红色点之间成功get到leader/MDS1, 在下一个周期get失败 这种情况下出现双主的最长时间为PeriodicGetTime(蓝色直线段)， 短暂时间内的双主情况是可以接受的。 4.2.4.2 GetTimeout < ElectionTime 当etcd集群恢复正常的情况下，MDS1的lease没有过期，但是get

点初始状态一致的时候，保证节点之间状态一致。 raft日志复制RAFT协议简介 raft配置变更 • 配置：加入一致性算法的服务器集合。 • 集群的配置不可避免会发生变更，比如替换宕机的机器。 直接配置变更可能出现双主问题 • 共同一致（joint consensus） • 集群先切换到一个过渡的配置(old + new)，一旦共同一 致已经被提交，系统切换到新的配置(new)。RAFT协议简介 日志压缩

© XXX Page 1 of 11 curvefs对接s3方案设计（过程文档）© XXX Page 2 of 11 时间 修订人 修订内容 2021-05-20 胡遥 初稿 2021-07-20 胡遥 细化write和read流程 整体架构 整体思路 接口和关键数据结构 mds.proto client端数据结构 metaserver.proto space相关数据结构和proto 文件数据进行chunk，以及block的拆分为s3的object，并写入/读取s3的object。 S3-allocator模块：负责分配s3-object唯一标识。© XXX Page 3 of 11 整体思路 curvefs对接s3和对接volume主要的区别在于数据持久化和空间分配部分，而元数据的操作尽量保持统一。因此我们涉及到修改client的流程主要在read/ required uint64 blockSize = 5; required uint64 chunkSize = 6; } mds.proto© XXX Page 4 of 11 import "curvefs/proto/common.proto"; message CreateFsRequest { required string fsName = 1;

© XXX Page 1 of 11 Curve文件系统空间分配方案（基于块的方案，已实现）© XXX Page 2 of 11 背景 本地文件系统空间分配相关特性 局部性 延迟分配/Allocate-on-flush Inline file/data 空间分配 整体设计 空间分配流程 特殊情况 空间回收 小文件处理 并发问题 文件系统扩容 接口设计 RPC接口 空间分配器接口 虽然Curve是一个分布式文件系统，但是单个文件系统的容量可能会比较大，如果在空间分配时，不考虑局部性，inode中记录的extent数量很多，导致文件系统元数据量很大。© XXX Page 3 of 11 假如文件系统大小为1PiB，空间分配粒度为1MiB，inode中存储的extent为三元组（fileoffset，blockoffset，length），当空间完全分配之后，extent的元数据量为24GiB（1PiB 系统所有inode中已使用的空间。 空间分配流程 在新文件进行空间分配时，随机选择level1中标记为0的块，先预分配给这个文件，但是并不表示这个块被该文件独占。© XXX Page 4 of 11 1. 2. 3. 以下图为例：file1新申请了2MiB的空间。首先从level1中随机选一个标记为0的块分配出去，然后将这一个块中的前2MiB空间分配给这个文件，剩余部分加入到level2中的list中。

© XXX Page 1 of 11 CurveFS Client 概要设计（已实现）© XXX Page 2 of 11 背景 概述 关键接口分析 init destroy lookup write read open create & mknod mkdir forget unlink rmdir opendir readdir getattr & setattr access rename CurveFS初步设计见 ， 目前需细化Client端设计 CurveFS方案设计（总体设计，只实现了部分） 概述 CurveFS client 向上提供两层接口，分别是© XXX Page 3 of 11 对接fuse，提供通用文件系统接口。对于fuse接口，先前进行了一些调研，见FUSE调研 提供lib库，提供对接分布式数据库接口，这一部分，可参考polarfs的接口，如下图所示。 根 +init +destroy +lookup +forget +getattr +setattr +readlink +mknod© XXX Page 4 of 11 +mkdir +unlink +rmdir +symlink +rename +link +open +read +write +flush

Curve bazel 编译分享 程义 - 存储计算部 2022 年 11 月 11 日 C ur v e1 升级 bazel 到 4.2.2 2 支持 Debian9 、 Debian10 、 Debian11 3 支持 gcc clang 更新内容 Curve1 编译 Debian11-Dockerfile .bazelrc bazel 版本： 版本： 4.2.2 （ bazelisk) docker run -v $(pwd):/curve -it opencurvedocker/curve-base:build-debian11 cd /curve/ # 使用 gcc 编译 bazel build –config=gcc7-later … # use '-faligned-new' to enable C++17 over-aligned cache/bazel -it opencurvedocker/curve-base:build-debian11 # 容器内 cd /curve/curvefs make build os=debian11 # 容器外 # curvefs sudo make image os=debian11 tag=harbor.cloud.netease.com/curve/curvefs:chengyi01-debian113

cs10[copyset-2, copyset-7] cs11[copyset-3, copyset-6] cs12[copyset-4, copyset-8] round2: zone1 zone2 zone3 zone4 ------------------------ cs2 cs6 cs7 cs11 cs3 cs4 cs9 cs10 (cs11, cs3, cs4) copyset-7: (cs9, cs10, cs1) copyset-8: (cs5, cs8, cs12) round1: zone1 zone2 zone3 zone4 ------------------------- cs1 cs4 cs7 cs10 cs2 cs5 cs8 cs11 cs3 ------------------------- copyset-1: (cs1, cs4, cs7) copyset-2: (cs10, cs2, cs5) copyset-3: (cs8, cs11, cs3) copyset-4: (cs6, cs9, cs12)COPYSET client MDS leader Chunk server 1、发起请求 2、查询元数据 5、返回结果

limited by the kernel. * * NOTE: For the time being, the maximum size of read requests© XXX Page 11 of 33 * must be set both here *and* passed to fuse_session_new() * using the ``-o max_read=`` netease 4096 Jul 29 11:02 stmp nbs@pubbeta1-nostest2:/tmp$ chmod o+t stmp nbs@pubbeta1-nostest2:/tmp/stmp$ ls -l total 0 -rw-r--r-- 1 nbs netease 0 Jul 29 11:03 file1 wanghai01@pubbeta1-nostest2:/tmp/stmp$ gid = 8; required uint32 mode = 9; required sint32 nlink = 10; required FsFileType type = 11; optional string symlink = 12; // TYPE_SYM_LINK only optional VolumeExtentList volumeExtentList

gid = 8; required uint32 mode = 9; required sint32 nlink = 10; required FileType type = 11; optional string symlink = 12; // TYPE_SYM_LINK only repeated VolumeExtent volumeExtents (UpdateInodeResponse); rpc DeleteInode(DeleteInodeRequest) returns (DeleteInodeResponse);© XXX Page 11 of 15 }© XXX Page 12 of 15 2.3 space.proto space.proto /* * Copyright (c) 2020 NetEase Inc.

gid = 8; required uint32 mode = 9; required sint32 nlink = 10; required FsFileType type = 11; optional string symlink = 12; // TYPE_SYM_LINK only optional VolumeExtentList volumeExtentList 如果改造，dump/load 的逻辑都得动，而且会牵扯到一些其他逻辑（如主从复制，因为 redis 主从全量复制发送的就是一整个 RDB 文件，即使我们不需要这个功能，这部分代码也是有耦合的）© XXX Page 11 of 12 1. 2. 3. 如果自己实现，只是一个简单的 sava/load 逻辑，比较清晰 redis 中有许多数据结构可供使用，如 (哈希、列表、set、sort_se