启乘数科技联合创始人，PostgreSQL中国用户会常委。 从业近20年，拥有20年数据库、操作系统、存储领 域的工作经验，历任过阿里巴巴高级数据库专家、 网易研究院开发专家，从事过阿里巴巴Greenplum、 PostgreSQL、 MySQL数据库的架构设计和运维。 既熟悉数据库的，是最早的Oracle 9i的OCP，又懂开 发，精通C、python。 唐成（网名osdba）-3- @

root@pubbeta1-nostest2:/tmp/fsmount# ls root@pubbeta1-nostest2:/tmp/fsmount# 测试allow_other© XXX Page 6 of 33 # filesystem owner wanghai01@pubbeta1-nostest2:/tmp$ ls -l | grep fsmount drwxrwxrwx 0 root wanghai01@pubbeta1-nostest2:/tmp$ ls -l | grep fsmount drwxrwxrwx 0 root root 0 Jan 6 2079 fsmount wanghai01@pubbeta1-nostest2:/tmp/fsmount$ touch file1 wanghai01@pubbeta1-nostest2:/tmp/fsmount$ /tmp/fsmount/ nbs@pubbeta1-nostest2:/tmp/fsmount$ ls -l total 0 -rw-r--r-- 0 wanghai01 neteaseusers 6 Jan 7 2079 file1 nbs@pubbeta1-nostest2:/tmp/fsmount$ echo "world" >> file1 nbs@pubbeta1-nostest2:/tmp/fsmount$

[copyset-1, copyset-7] cs2 [copyset-2, copyset-5] cs3 [copyset-3, copyset-6] cs4 [copyset-1, copyset-6] cs5 [copyset-2, copyset-8] cs6 [copyset-4, copyset-5] cs7 [copyset-1, copyset-5] cs8 [copyset-3, copyset-8] cs10[copyset-2, copyset-7] cs11[copyset-3, copyset-6] cs12[copyset-4, copyset-8] round2: zone1 zone2 zone3 zone4 ------------------------ cs2 cs6 cs7 cs11 cs3 cs4 cs9 cs10 cs10 cs1 cs5 cs8 cs12 ------------------------ copyset-5: (cs2, cs6, cs7) copyset-6: (cs11, cs3, cs4) copyset-7: (cs9, cs10, cs1) copyset-8: (cs5, cs8, cs12) round1: zone1 zone2 zone3 zone4

3; required uint64 capacity = 4; required uint64 blockSize = 5; required Volume volume = 6; required uint32 mountNum = 7; repeated mountPoint mountpoints = 8; } message GetFsInfoResponse returns (UmountFsResponse); rpc GetFsInfo(GetFsInfoRequest) returns (GetFsInfoResponse);© XXX Page 6 of 15 // rpc UpdateFsInfo(UpdateFsInfoRequest) returns (UpdateFsInfoResponse); rpc DeleteF length = 3; required uint32 ctime = 4; required uint32 mtime = 5; required uint32 atime = 6; required uint32 uid = 7; required uint32 gid = 8; required uint32 mode = 9; required

required string bucketname = 4; required uint64 blockSize = 5; required uint64 chunkSize = 6; } mds.proto© XXX Page 4 of 11 import "curvefs/proto/common.proto"; message CreateFsRequest required uint64 rootInodeId = 4; required uint64 capacity = 5; required uint64 blockSize = 6; required uint32 mountNum = 7; repeated MountPoint mountpoints = 8; required FSType fsType FileType { TYPE_DIRECTORY = 1; TYPE_FILE = 2; TYPE_SYM_LINK = 3; TYPE_S3 = 4; };© XXX Page 6 of 11 // inodes3chunk message S3ChunkInfo { required uint64 chunkId = 1; required uint64 version

向mds查询快照的元数据，转储快照元数据 块metaObject。 • 4.根据快照元数据信息，转储快照数据块 dataObject。 • 5.调用mds接口，移除curve内部的快照。 • 6.mds调用chunkserver接口，删除内部快照 数据 快照流程： chunk chunk chunk chunkserver meta object data object data metastore http service clone Task user 快照元数据 2.创建内部快照 5.删除内部快照 快照数据 1.发起快照 SnapshotCloneServer 6.删除内部快照数据快照的元数据和数据组织 字段 类型 说明 uuid string 快照唯一Id user string 所属用户 fileName string 快照目标卷名 snapshotName 3. 调用mds接口为目的卷分配空间。 • 4. 根据目的卷的分配信息，调用 chunkserver接口创建CloneChunk。 • 5. 更新克隆卷状态为metaInstalled。 • 6. 发起ChunkServer数据拷贝 • 7. ChunkServer从克隆源拷贝数据。 • 8. 将卷从临时卷rename为克隆目标卷名。 • 9. 更新克隆卷状态为Cloned。 克隆流程：

申请，同样要带上文件最后一个字节所在的地址空间，用于尽量分配连续的地址空间。 文件空间的申请，具体由大文件，还是由小文件处理，可以参考如下策略，大小文件阈值为1MiB：© XXX Page 6 of 11 并发问题 如果所有的空间分配和回收全部由一个分配器来进行管理，那么这里的分配很有可能成为一个瓶颈。 为了避免整个问题，可以将整个空间，由多个分配器来进行管理，每个分配器管理不同的地 成后，返回RPC。 空间分配器相关的RPC接口，及request/response定义如下。与 里的定义基本一致。 CurveFS Client 概要设计（已实现）#%E6%8E%A5%E5%8F%A3%E9%9C%80%E6%B1%82 syntax="proto2"; option cc_generic_services = true; enum StatusCode { UNKNOWN_ERROR

如何获取inodeid 3.2 copyset fs共用吗？ 3.3 copyset个数是否可以动态调整？ 4、curvefs的topo信息 5、curvefs mds和metaserver的心跳 6、详细设计 6.1 创建fs 6.2、挂载fs 6.3、创建文件/目录 6.4、open流程 6.5、读写流程 6.6、topology 7、工作评估 7.1 client端 7.2 mds端 7 查找inode和partition的时候，通过inodeid去查询应该由哪个partition进行处理。inode是拿着inodeid查询，dentry是拿着parent的inode id去查询。© XXX Page 6 of 19 一个fs的meta partition使用第一个叫做MetaWrapper的结构体组织起来© XXX Page 7 of 19 type MetaWrapper struct { 恢复调度器。根据当前copyset副本的存活状态生成迁移任务。 结论：心跳参考curve。目前这些调度器在curvefs第一阶段不用全部实现。所有和均衡相关的，暂时不做。只做和故障处理相关的副本补全恢复的调度。 6、详细设计 6.1 创建fs curvefs管理工具发起创建fs命令，mds收到createfs命令之后，在mds插入的一条fs记录，状态为NEW。然后为fs创建copyset，默认为3个。mds

分片方式二：Inode按照inodeid进行分片，Dentry按照parentid进行分片 rename：rename /A/C到/B/E hardlink：生成一个hardlink /B/E，指向文件/A/C 6、curve文件系统的多文件系统的设计 1、设计一个分布式文件系统需要考虑的点： 文件系统的元数据是否全缓存？ 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ inode+d string symLink; /* for symLink only */ // Inode ::curve::common::RWLock lock_; };© XXX Page 6 of 24 4.2 dentry的定义： dentry定义见：curve文件系统元数据proto（代码接口定义，已实现） typedef uint64_t InodeId; class 5、client给server0发送请求： 修改记录 "C"/"E"的inode link++ 这里只需要增加一台dentry，然后inode中link++。同样这里的操作也分为两步，事务性也需要处理，留到下半年考虑。 6、curve文件系统的多文件系统的设计 curve文件系统设计上支持多文件系统。文件系统的super block元数据设计。 多文件系统相对于单文件系统，多了一个fsid，在上面的inode和de

iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool (降低写放大) 7. data stripe (增大并发) 8. zerocopy 9. 云原生 核心设计Curve块存储 1. physical pool用于实现对机 https://github.com/opencurve/curve 4. 版本发布周期：每半年一个大版本，1～2个月一个小版本 5. 了解Curve进展：每隔2周的Curve周会说明Curve进展以及讨论 相关问题 6. 提交bug与建议：https://github.com/openCURVE/CURVE/issues 7. 参与Curve交流与讨论：微信群，右手边二维码Follow us! twitter.com/kubesphere