一台机器上能存放多少个inode和dentry 8.2 一台机器上建议的copyset数量 8.3 每个copyset建议管理存储容量的大小 1、背景 curvefs使用raft作为元数据一致性的保证。为了提高元数据的可扩展性和并发处理能力，采用元数据分片的方式管理inode和dentry的元数据。inode的分片依据是fsid + inodeid，dentry的分片依据是fsid + parentinodeid。借 这块内容参考的curve。metaserver定时向mds上报心跳，心跳内容参考curve。调度上，如果采用类似chubaofs的方案，那么copyset就会一直处于一个不均衡的状态中。如果copyset是可readwrite状态，新创建的 文件和目录，会导致copyset管理的元数据越来越多；如果copyset管理的Inode分配完了，转为readonly状态，随着文件和目录的删除，copyset管理的 8、inode和dentry的内存估算 类型 byte sizeof(dentry) 56 dentry的name字段，按照最大估算 256 sizeof(inode) 112 sizeof(volumeExtentList) 48 sizeof(S3ChunkInfoList) 48 sizeof(S3ChunkInfo) 64 sizeof(VolumeExtent) 56 dentry大小： 空的dentry占用56B；

key_value_pairs 其他说明 实现 1、inode、entry 的编码 2、KVStore Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案？ redis + muliraft 存在的问题？ redis 改造 vs 自己实现? redis 中哈希表实现的优点？ 参考 前言 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： -------+---------+----------+ 字段 字节数 说明 type 1 操作类型，共有以下 2 类： SET (0X01)：ADD 和 UPDATE 都可以转换成 SET 操作 DEL (0X02)：当为 DEL 操作时，value_length 和 value 则为空 key_length 4 key 长度 key $key_length 编码后的 key [value_length] version 4 文件版本号（当文件格式变化时，可以 100% 向后兼容加载旧版持久化文件） size 8 键值对数量 key_value_pairs / 键值对（当 size 为 0 时，该字段为空） EOF 1 特殊标记常量 (0XFF)，表示内容已结束 check_sum 8 保存校验和 (根据前 5 个部分内容计算得出) key_value_pairs 字段 字节数 说明 key_length

问题1：root用户无法访问挂载目录 测试 allow_root 测试allow_other 参考文献 问题2：本地文件系统挂载默认是共享的？ 问题3：文件系统访问控制是在哪一层实现的？ 二、文件系统权限管理 文件类型 文件权限 特殊权限(SUID, SGID, STICKY) 文件默认权限umask 用户&用户组 文件系统用户权限管理 对mode的管理 对ACL（Access Control Lists）的管理 For future use.© XXX Page 14 of 33 */ unsigned reserved[22]; }; 未实现任何权限检查的文件系统通常 应在内部添加此选项，可与参数‘allow_other’一起达到共享文件访问控制。© XXX Page 15 of 33 # LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libjemalloc 16 10:41 softlink -> file 文件类型 文件类型标识 文件类型 - 普通文件 d 目录文件 l 符号链接 s 套接字（伪文件） b 块设备（伪文件） c 字符设备（伪文件） p 管道（伪文件） 文件权限 文件权限分为三段：分别对应文件“属主权限”、“属组权限”、“其他用户权限” 权限标识 权限类型 - 无权限 r 读权限4 w 写权限2 x 执行权限1

(n)复杂度。 c++ stl unordered_map moose，使用c实现 4、curve文件系统的元数据内存组织 curve文件系统元数据主要有3个类型，inode， dentry， 。 extent 4.1 inode定义： inode定义见：curve文件系统元数据proto（代码接口定义，已实现）© XXX Page 5 of 24 typedef block这种，剩下的比如inode，dentry这种，按需加载，而且使用淘汰机制，内存中不常用的元数据可以淘汰出去。这种方式，扩展性好，元数据服务的扩展性不受限于内存，服务上的内存只有几百GB，而硬盘空 间按照20块1.6TB的盘来计算，一个服务器上可以有32TB的空间，硬盘的空间比内存到100多倍。但是这种方式，由于数据不能去全部缓存到内存，在查询元数据的时候，需要去盘上读数据，而且在文件系统这种使 100，查询的"A"的inode信息。 3、client给server1发送请求：parentid 100，查询parentid 为100的dentry记录。查询到 100 + C → 300，目录非空，不能删除。 rename：rename /A/C到/B/E 1、client给server0发送请求： parentid 0 + name "A"，查询"A"的inodeid为100© XXX

Task user 快照元数据 2.创建内部快照 5.删除内部快照 快照数据 1.发起快照 SnapshotCloneServer 6.删除内部快照数据快照的元数据和数据组织 字段 类型 说明 uuid string 快照唯一Id user string 所属用户 fileName string 快照目标卷名 snapshotName string 快照名 seqNum uint64_t SnapFile的命名方式为“chunk_” + ChunkId + “_snap_”+ seqNum的形式，以区别于 ChunkFile。CHUNKSERVER端快照实现-SNAPFILE 字段 类型 说明 version uint8_t 文件格式协议 版本号 demaged bool 损坏标记 sn uint64_t 快照版本号 bits uint32_t 位图的位数 bitmap char[] 现-CHUNKFILE 字段 类型 说明 version uint8_t 文件格式协议版本号 sn uint64_t chunk文件的版本号 correntSn uint64_t chunk的修正版本号 locationSi ze size_t 可缺省，当前为CloneChunk时表示 location占用的字节数 location char[] 可缺省，当前为CloneChunk时表示

元数据管理的雏形，具备了基本的元数据管理功能。（当时为什么要设计为 namespace 的管理形式？留有租户这个概念），直接基于 namespace 开发： a. 功能 软/硬链接：目前是都不支持的。软链接可以通过标识文件类型解决；由于 prefix + parentid + filename 作为 key , filename 直接和 fileInfo 关联，硬链接无法支持 b. 性能 list：list在通用文件系统中是很常见的操作，目前 dentry，inode 两层映射的元数据结构。对于 fs© XXX Page 4 of 14 的场景，元数据的量比块存储场景会多很多，长期看元数据节点的设计也是需要满足高可用、高可扩、高可靠的。 因此对元数据节点的要求总结为：高可用、高可扩、高可靠、高性能。 架构设计 卷和文件系统© XXX Page 5 of 14 1. 1. 2. 2. 1. 2. 1. 2 检查目的节点的父节点中是否有同名文件存在： 存在 若源节点类型为TYPE_DIRECTORY则对源节点目录下的所有子文件进行快照 若源节点类型为TYPE_FILE则开始比较源节点与目的节点的 inode 是否相同，若完全一样则说明目的节点已经是源节点的快照了不需要做任何处理, 否则删除目的节点，再创建新的 dentry 指向源节点的 inode 若源节点类型为TYPE_SYMLINK，重新设置目的节点与源节点保持一致

d），两种机制如下： trash机制： 对于所有TYPE_FILE类型的文件在删除时， ，则不会立即将该文件彻底删除，而是将其类型修改为TYPE_TRASH并且将该节点从文件树移除然后放到trash链表中表示该文件已经进入回收 若其trashtime大于0 站。 通过META文件系统来访问trash 通过trash机制，可实现文件的恢复UNDEL 回收站实现了一个timer，定期判断trashtime，执行定期清理回收站 serve中。 sustained机制/reserve机制 当一个trashtime等于0的TYPE_FILE类型的文件被一个客户端正在打开，而同时有另一个客户端要删除它时，此时master对该文件节点的处理是并不立即删除该文件而是设置为TYPE_RESERVED类型并将该fsn ode连接到reserved链表中，使该文件虽然已经从文件树中删除掉，但因为另一个正在打开该文件的客户端因为持有该节点inodeid

●Worker –完成ucx的功能，可以在应用程序中调用的函数（不是单独执行的线程） ●Listener –接收连接请求 ●Ep –连接对象，在ep上请求发送和接收29 UCP 消息接口类型 ●Active message –速度最快，被brpc使用作为消息传递 –消息通过回调函数接收 –消息异步发送 ●Tag –MPI使用 ●Stream –官方不推荐30 WORKER 服务器端一般不主动关闭连接，客户端主动关闭，自己负 责是否有未接收完的应答。56 修改BRPC的EndPoint ●原始的EndPoint类，不能识别网络连接的类型，默认只有TCP –现在有了UCX, 需要添加一个字段说明是UCX连接，防止在函数传递参数 时丢失连接类型信息。 –UCX的地址依然是tcp地址。5758 修改 Socket Connect59 修改Socket Connect60 修改Socket::DoRead ●UcpConnection的Read函数发现了错误状态，于是返回读错误，进而导致Brpc关闭 socket，而我们的socket里的fd是pipe的写端，当比关闭时，UcpCm检测到pipe读端fd可 读并且EOF，进而检测到UcpConnection需要关闭。61 修改Socket::StartWrite ucp_conn的写总是提交给ucp worker的，不会阻塞，所以不会用到 brpc

Curve核心组件之 MDS 陈威Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页： https://opencurve.github.io/ • github代码仓库： https://github 本PageFile支持块设备、三副本AppendFile（待开发）支持在线对象存储、AppendECFile（待开发）支持 近线对象存储可以共存。 如上所示LogicalPool与pool为多对一的关系，一个物理pool可以存放各种类型的file。当然由于curve支持 多个pool，可以选择一个logicalPool独享一个pool。 通过结合curve的用户系统，LogicalPool可以通过配置限定特定user使用的方式，实现多个租户数据物理 ，可以以CopySet的粒度进行探活、配置变更，降低 开销。 3. 提高数据可靠性：在数据复制组过度打散的情况下，在发生多个节点同时故障的情况下，数据的可靠性会受 到影响。引入CopySet，可提高分布式存储系统中的数据持久性，降低数据丢失的概率。COPYSET ChunkServer，Copyset和Chunk三者之间的关系如下图： Mds在分配空间时，轮流在不同的copyset中分配

以达到高可靠、高可用、高可扩分布式存储的要素 要 素 拆 解 数据分布 —— 无中心节点/中心节点 均 衡 地址空间的每段数据会分布在不同机器的磁盘上，如 何找到这些数据？ 可靠性 & 可用性 —— 多副本/EC 服务不可用时 间 数据一致性 —— 一致性协议 如何保证数据不丢？如何保证各种硬件故障的时候读 写都正常？ 可扩展性 —— 和数据分布的方式相关 对IO无影响 秒级io影响 服务端升级 对IO无影响 重启管控面IO无影响，重启osd io秒级影响 客户端升级 热升级，秒级抖动 不支持热升级，需要业务停服 集群监控 丰富的metric metric类型较少主要亮点 — 更稳定 异常场景 Curve Ceph 坏盘 基本无抖动 无明显抖动 慢盘 io持续抖动，但util未100% io持续抖动，util持续100% 网络丢包 随着loss增大，还有部分io