初稿(背景，调研，架构设计) 2021-03-30 李小翠 增加快照部分 2021-04-13 李小翠、陈威 补充元数据数据结构 2021-04-19 李小翠、吴汉卿、许超杰等 补充文件空间分配，讨论与确认 背景 调研 开源fs 性能对比 可行性分析 方案对比 对比结论 架构设计 卷和文件系统 元数据架构 文件系统快照 方案一：文件/目录级别快照 方案二：文件系统快照 关键点 元数据设计 数据结构 索引设计 指向同一个inode 文件系统快照 方案一：文件/目录级别快照 快照是文件系统或卷的只读副本，快照要求可以即时创建。类似 moosefs，curvefs 可以计划支持目录及文件级别的快照，目录级别和文件级别的快照可以认为就是cp的实现。 对于文件/目录级别的快照： 检查目的节点的父节点中是否有同名文件存在： 存在 若源节点类型为TYPE_DIRECTORY则对源节点目录下的所有子文件进行快照 若源节点类 inode 是否相同，若完全一样则说明目的节点已经是源节点的快照了不需要做任何处理, 否则删除目的节点，再创建新的 dentry 指向源节点的 inode 若源节点类型为TYPE_SYMLINK，重新设置目的节点与源节点保持一致 不存在 创建新的dentry 若源节点type= TYPE_DIRECTORY，递归创建源节点目录下的所有子文件进行快照 若源节点type= TYPE_FILE，则设置len

+ new)，一旦共同一 致已经被提交，系统切换到新的配置(new)。RAFT协议简介 日志压缩 • 日志会不断增长，占用空间 • 采用快照的方式压缩日志 • 在某个时间点，整个系统的状态都以快照的形式写入 到稳定的持久化存储中 • 完成一次快照之后，删除时间点之前的所有日志和快 照。BRAFT简介 • raft协议提出之后，涌现出了非常多的实现，比如etcd，braft，tikv等。 • braft是raft的一个实现，实现了raft的一致性协议和复制状态机，而且提供了一种通用的基础库。基 于braft，可以基于自己的业务逻辑构建自己的分布式系统。 • braft本身不提供server功能，需要业务自己实现状态机。 Node（一个raft实例） int init(const NodeOptions& options); void apply(const Task& task); • chunkserver：采用raft协议3副本的方式保存块 设备上的数据。 • snapshotCloneServer：卷的快照克隆服务，持久 化到S3中。Curve块存储RAFT应用 数据分布 • 每个raft实例用一个copyset管理，copyset是个逻辑 概念。写入chunk的数据，由copyset对应的raft完成 3副本的写入。 • multi-raft：copyset和chunkserver是多对多的关系

........................... 176 7.2 LVM（逻辑卷管理器） .......................................................................................... 178 7.2.1 部署逻辑卷 ......................................... ......................... 178 7.2.2 扩容逻辑卷 ..................................................................................................... 182 7.2.3 缩小逻辑卷 ...................................... .......................... 183 7.2.4 逻辑卷快照 ..................................................................................................... 184 7.2.5 删除逻辑卷 .....................................

运维工具，与时俱进，保持 服务化和自动化的覆盖。能够: 快速整合支持新采纳的基础架构云平台，架构设计支持以插件符合开放封闭原则进行扩 展支持，只需要开发插件，不需要动 Web 页面层和中间业务逻辑层； 模块化扩展和整合，能够在现有框架下方便扩展支持新的运维工具整合等功能，比如整 合新采纳的运维、安全平台工具，保持服务交付过程的服务化、高效自动化。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 软件用起来才有价值，才有改进的机会 16 表 2: 支持场景列表 场景 子场景 是否支持 运行环境服务 虚拟机申请部署、变更 (单机、批量、集群、定时执行、克隆) 支持 磁盘申请部署、变更，快照创建及管理 支持 虚拟机申请时指定安全组、弹性 IP、负载均衡 支持 虚拟机部署后初始化操作系统环境、部署安全基线 支持 虚拟机部署后自动部署中间件数据库 支持 虚拟机部署后自动部署运维工具代理 面向业务部门应用开发测试运维人员提供应用运行环境资源在线服务以及查找、操作管理， 面向 IT 管理员提供虚拟化、私有云、公有云资源纳管、自动同步、用户组织角色权限管理、 分权分域管理、生命周期管理、服务目录管理、逻辑资源池及网络分配管理、流程管理等。 如图 9 所示。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 18 图 9: CloudExplorer 功能架构 2.3 自服务门户

Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查基本架构 • 快照克隆服务器 独立于核心服务 储到支持S3接口的 对象存储，不限制数量 异步快照、增量快照 从快照/镜像克隆 ( lazy/非lazy ) 从快照回滚数据组织形式 • 底层 可用性 / 可靠性 扩展性 / 负载均衡 向上提供无差别文件流 • Application 提供不同文件类型支撑不同上层应用数据组织形式 • PageFile/AppendFile/AppendECFile • Segment • 逻辑概念，空间分配的基本单元 （减少元数据数量） • 多个连续地址空间chunk（物理文件）的聚合数据组织形式 • CopySet • 逻辑概念 • 减少元数据数量 • 数据放置的基本单元 • 提高数据可靠性 • 包含多个chunk • 减少复制组数量 类似Ceph中的PG • 地址空间到—>chunk: 1 : N chunk有先后关系 • 创建时指定大小，lazy分配chunk • 提供4kb随机读写能力 • 支撑块设备应用场景 块设备层面的快照功能 即为文件层面快照数据组织形式 • AppendFile • 地址空间到—>chunk: 1 : 1 • 采用append的方式写入数据组织形式 • AppendFile • 地址空间到—>chunk:

10 参考资料与延伸阅读 第十四章、磁盘配额（Quota）与进阶文件系统管理 14.1 磁盘配额 （Quota） 的应用与实作 14.2 软件磁盘阵列 （Software RAID） 14.3 逻辑卷轴管理员 （Logical Volume Manager） 14.4 重点回顾 14.5 本章习题 14.6 参考资料与延伸阅读 鸟哥的 Linux 私房菜：基础学习篇 第四版 5 17 --create 14.2.4 仿真 RAID 错误的救援模式： mdadm --manage 14.2.5 开机自动启动 RAID 并自动挂载 14.2.6 关闭软件 RAID（重要！） 14.3 逻辑卷轴管理员 （Logical Volume Manager） 14.3.1 什么是 LVM： PV, PE, VG, LV 的意义 14.3.2 LVM 实作流程： PV 阶段, VG 阶段,LV 文件系统阶段 14.3.3 放大 LV 容量： xfs_growfs 14.3.4 使用 LVM thin Volume 让 LVM 动态自动调整磁盘使用率 14.3.5 LVM 的磁盘快照： 创建传统快照, 以快照还原,用于测试环境 14.3.6 LVM 相关指令汇整与 LVM 的关闭 14.4 重点回顾 14.5 本章习题 14.6 参考资料与延伸阅读 第十五章 例行性工作调度 （crontab）

第十四章、磁盘配额（Quota）与进阶文件系统管理 16.1. 14.1 磁盘配额 （Quota） 的应用与实作 16.2. 14.2 软件磁盘阵列 （Software RAID） 16.3. 14.3 逻辑卷轴管理员 （Logical Volume Manager） 16.4. 14.4 重点回顾 16.5. 14.5 本章习题 16.6. 14.6 参考资料与延伸阅读 17. 第十五章、例行性工作调度（crontab） 学习学习…..2015/07/28 16.1. 14.1 磁盘配额 （Quota） 的应用与实作 16.2. 14.2 软件磁盘阵列 （Software RAID） 16.3. 14.3 逻辑卷轴管理员 （Logical Volume Manager） 第四部分：Linux 使用者管理 第十三章 Linux 帐号管理与 ACL 权限控制 第十四章 磁盘配额（Quota）与进阶文件系统管理 里面含有什么元件？不同的电脑可以应用在哪些工作？ 你生活周遭有哪些电器用品内部是含有电脑相关元件的？下面 我们就来谈一谈这些东西呢！ 所谓的电脑就是一种计算机，而计算机其实是：“接受使用者输入指令与数据，经由中央处理器的数学与逻辑单元运算 处理后， 以产生或储存成有用的信息”。因此，只要有输入设备 （不管是键盘还是触摸屏） 及输出设备 （例如电 脑屏幕或直接由打印机打印出来），让你可以输入数据使该机器产生信息的， 那就是一部计算机了。

管理和存储元数据信息 • 感知集群状态，合理调度 • 数据节点 Chunkserver • 数据存储 • 副本一致性，raft • 客户端 Client • 对元数据增删改查 • 对数据增删改查 • 快照克隆服务器CURVE基本架构 01 02 03 04 Client总体介绍 热升级NEBD总体介绍 新版本Client/NEBD性能优化 QEMU、Curve-NBD：上层应用   FileManager：提供接口，记录已挂载卷  FileInstance：对应一个已挂载的卷  LeaseExecutor：负责定期与MDS通信，获取卷的元数据信息  元数据信息在打快照时会进行变化  MetaCache：元数据缓存  IOTracker：跟踪一个上层IO请求  IOSplitor：IO转换拆分  ChunkClient、CliClient：与Chunkserver进行通信 数据面：AioWrite/AioRead、Write/Read  控制面：Create/Delete、Open/Close、Rename等  IO处理：转换、拆分、合并  元数据获取及缓存  逻辑chunk与物理chunk映射关系  物理chunk所属的复制组(copyset)  复制组所在的chunkserver列表  复制组的leader信息  Failover支持 

..........54 杭州飞致云信息科技有限公司 3 4.5 制作云磁盘快照.................................................................................................... 55 4.6 删除云磁盘快照......................................... 超融合基础架构（Hyper Converged Infrastructure，或简称 “HCI”）是指在同一套单元设备中不仅仅具备计算、网络、存 储和服务器虚拟化等资源和技术，而且还包括备份软件、快照技 术、重复数据删除、在线数据压缩等元素，而多套单元设备可以 通过网络聚合起来，实现模块化的无缝横向扩展（scale-out）， 形成统一的资源池。比较知名常见的超融合平台有 Nutanix、戴 统一，并且比较混淆。我们简化一些，指公有云中的 RDS 等中 间件、数据库在线服务，以及容器云。 VLAN Virtual Local Area Network, 虚拟局域网, 是建立在物理网络基 础上的一种逻辑子网，用于隔离多个主机组之前的网络访问。物 理位置不同的多个主机如果划分属于同一个 VLAN，则这些主机 之间可以相互通信。物理位置相同的多个主机如果属于不同的 VLAN，则这些主机之间不能直接通信。VLAN

符号链接总是名义上具有“rwxrwxrwx”的文件访问权限，如上面例子所示，实际的有效访问权限由它所指向的文件 确定。 小心 除非你有非常好的理由，否则不要创建一个复杂的符号链接或硬链接通常是个好主意。符号链接的逻辑组合 可能导致文件系统噩梦般的无限循环。 Debian 参考手册 13 / 233 注意 通常使用符号链接比使用硬链接更合适，除非你有一个好理由使用硬链接。 “.”目录链接到它所在的目录，因此任何新建目录的链接数从 2 ] ; echo $? 1 Debian 参考手册 28 / 233 命令的退出状态 数字返回值 逻辑返回值 success zero, 0 TRUE error non-zero, -1 FALSE Table 1.22: 命令的退出代码 注意 请注意，success 是逻辑 TRUE ，0（zero）则是它的值。这有些不直观，需要在这里提一下。 1.5.8 典型的顺序命令和 shell Debian 社群契约（Debian Social Contract） 1.2 版本第 5 条条款的实际文本和上面的文本有稍微不同。 在不改变 Debian 社群契约实际内容下，这个文字调整让本用户文档在逻辑上保持一致。 Debian 参考手册 43 / 233 用户应该了解使用 non-free 、non-free-firmware 和 contrib 中的软件包所需要冒的风险： • 使用类似的软件包会失去自由