1 CentOS 7 操作命令-基础篇 1.2 说明： 1.本文档没有目录，本文档在发布时为 pdf 文档，有章节书签，可以下载到本地来查看，点 击书签进入相应的章节。 2.蓝色的字为配置命令，绿色的字为命令的注释，有时命令太密集时，就不用蓝色标出了。 3.本文档仅为基础操作教程，不涉及网络服务的配置（比如 web 服务器等） 4.注意：本文档的所有操作请先在在虚拟机里进行实践，请不要直接在真实的服务器中操作！ 要直接在真实的服务器中操作！ 作者：李茂福 日期：2019 年 12 月 27 日 0、下载并安装 CentOS 7 系统 系统安装镜像下载地址 1：http://mirrors.163.com/centos/7.7.1908/isos/x86_64/ 下载第 2 个，文件大小 4G 的那个 系统安装镜像下载地址 2：http://mirrors.aliyun.com/centos/7/isos/x86_64/ 当虚拟机开 机时，这些资源就被它使用了。这些资源是共用我们自己的这台物理机的，所以物理机的性 能 不能太差。 1.在主页面上点击创建新的虚拟机 3 2.使用典型配置，下一步 3.选择“稍后安装操作系统”，下一步 4 4.选择 Linux，版本为 CentOS 7 64 位，下一步 5.虚拟机名称用默认的就行，位置为 D:\VMcentos7，我们前面创建的那个文件夹 5 6.最大磁盘大小分配

openEuler4RISC-V: 构建openEuler面向 周鹏1,2 张旭舟2 于佳耕1 武延军1* 赵琛 1 1中国科学院软件研究所 2openEuler SIG RISC-V 2020-07 RISC-V的操作系统 Institute of Software,Chinese Academy of Sciences 提纲 ▪ 背景介绍 ▪ 技术路线 ▪ 当前进展 ▪ 接下来的工作 ▪ 欢迎加入 Institute 统一和开放的操作 系统openEuler，推动软硬件生态繁荣发展 ▪ RISC-V ❖ 是一个通用处理器指令集架构（ISA），具有开源、开放、先进、生态协作 等技术优势。 ▪ SIG RISC-V ❖ 中科院软件所智能软件中心发起，在openEuler 社区成立的一个RISC-V特别 兴趣组 ❖ 其基本工作是  构建openEuler 面向 RISC-V 架构的操作系统  推动 RISC-V主要目标和支持 ❖ 为推动丰富 RISC-V 的软件生态做出贡献 ❖ 满足广大技术爱好者、企业、组织等尝试在RISC-V环境上开发、使用 openEuler操作系统的需要 ❖ 技术支持  面向RISC-V硬件的openEuler操作系统定制开发  软件包编译、系统构建、系统定制等技术支持 ❖ 提供自动化编译、构建工具、构建手册、RPM Repo托管等资源  使对 RISC-V 感

为开源软件提供指导、虚拟协作空间、创新平台和服务 在社区开发、管理和孵化开源软件，并且与其他许多开源社区合作 openEuler : 面向数字基础设施的开源操作系统 openEuler 是？ openEuler 愿景 openEuler 使命 为世界提供数字基础设施的开源操作系统 234万 社区用户 610万 装机量 谁在使用 openEuler 谁在贡献 openEuler 105 SIG组 《openEuler项目群开源治理制度》 openEuler 技术优势 Information Technology Communication Technology + + 主流应用：云原生，大数据，CDN，MEC，工业控制 … 主流应用场景100%支持 覆盖全场景应用 Operational Technology 服务器 支持多样性设备 主流计算架构100%覆盖 ARM, x86

3.Linux系统基础操作 主 讲 人 ： 古 月 Ubuntu常用软件 文件管理器 Ubuntu常用软件 软件中心与软件源配置 Ubuntu常用软件 应用程序 Ubuntu常用软件 终端（快捷键Ctrl+Alt+T） Linux中最重要的操作方式——命令行 ➢ ➢ ➢ ➢ 命令行使用基础 ➢ • • ➢ • • 命令行使用基础 ➢ • • ➢

© XXX Page 1 of 30 Curve元数据节点高可用© XXX Page 2 of 30 1. 需求 2. 技术选型 3. etcd clientv3的concurrency介绍 3.1 etcd clientV3的concurrency模块构成 3.2 Campaign的流程 3.2.1 代码流程说明 3.2.2 举例说明Campagin流程 3.3 Observe的流程 Etcd集群与MDS1(当前leader)出现网络分区 4.2.5.1 事件一先发生 4.2.5.2 事件二先发生 4.2.6 异常情况4：Etcd集群的follower节点异常 4.2.7 各情况汇总 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds, 但同时只有一个mds节点提供服务，称该提供服务的 的就是zookeeper和etcd, 考虑当前系统中mds有两个外部依赖模块，一是mysql， 用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制: TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期，到期后key会被自动删

实时内核UniProton及其混合关键性部署的实践 openEuler全新升级，成为数字基础设施开源操作系统 Communication Technology Information Technology Operational Technology + + ERP BSS/OSS CRM DCS NFV SCADA … 覆盖全场景应用 服务器 云计算 边缘计算 嵌入式 支持多样性设备 支持多样性设备 从服务器，到云、到边缘计算，到CT和OT的 嵌入式场景，成为面向数字基础设施统一的开 源操作系统 全栈原子化解耦，支持版本灵活构建、服务自由组合， 这样通过一套架构，来灵活支持南向多样性设备，北 向全场景应用 操作系统碎片化 导致数字基础设施产生大量“软烟囱”：生态割裂；重复开发；协同繁琐 首个社区共建的全场景版本openEuler22.03 LTS已 正式发布，版本持续迭代和创新 03 全场景 LTS版本 全场景 创新版本 2022.09 2023～ 创新版本 代码正式开源 2019.12 内核可编程，场景算力最佳 异构直连聚合，应用跨算力流转 分布式数据管理，数据共享 … 嵌入式 服务器 全场景能力 持续增强 基础能力 持续创新 南向创新 • 可编程内核 • 实时内核 北向创新 • 容器/虚机混部 openEuler DevKit •

of 24 Curve文件系统元数据管理（已实现）© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点： 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义： 4.2 dentry的定义： 4.3 内存组织 5 元数据分片 5.1 分片方式一：in 1、设计一个分布式文件系统需要考虑的点： 文件系统的元数据是否全缓存？ 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ inode+dentry方式？当前curve块存储的kv方式？ 是否有单独的元数据管理服务器？ 2、其他文件系统的调研总结 fs 中心化元数据 内存namespace元数据 内存空间分配元数据 元数据持久化 元数据扩展 小文件优化 空间管理单位 数据持久化 其他© XXX Page moosefs（mfs） 有元数据服务器 全内存 fsnode → hashtable(inode id) fsedge → hashtable (parent inode + name) 全内存 chunk → hashtable(chunk id) log + dump record 差 否 chunk 链式多副本 overwirte有数据不一致风险 chubaofs（cfs） 有元数据服务器 inode

© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 基于s3的daemon版本基于基本的性能测试发现性能非常差。具体数据如下： 通过日志初步分析有2点原因© XXX Page 3 of 9 1.append接口目前采用先从s3 get，在内存中合并完后再put的方式，对s3操作过多 2.对于4k 小io每次都要和s3交互，导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush到s3 序写和顺序 读，而对于随机写和随机读来说也会有一定性能提升，但效果可能不会太好。 元数据采用2层索引 由于chunk大小是固定的（默认64M），所以Inode中采用map s3ChunkInfoMap用于保存对象存储的位置信息。采用2级索引的好处是，根据操作的offset可以快速定位到index，则只需要遍历index相关的S3ChunkInfoList，减少了遍历的范围。

© XXX Page 1 of 15 curve文件系统元数据proto（代码接口定义，已实现）© XXX Page 2 of 15 1、代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块，在当前curve项目的目录下，增加一个一级目录curvefs，curvefs下有自己独立的proto\src\test。 2、文件系统proto定义 2.1 mds.proto

1 of 3 curvefs s3数据整理(合并碎片、清理冗余)© XXX Page 2 of 3 1. 2. 3. 1. 2. 3. 4. 5. 6. 1. 2. 背景 只考虑单客户端, 单metaserver 为了解决的问题: 客户端在对一个文件的某个部分多次写入后, 同一个chunk会产生很多版本数据; 而客户端在读的时候, 会需要对这些chunk进行筛选和构建 会需要对这些chunk进行筛选和构建, 得到有效的部分, 越是散乱的状态, 就越需要发送更多次读请求至s3. 最后导致无效旧数据的堆积和读请求性能的下降, 所以需要在合适的时候进行重叠元数据和数据的合并 原则是尽力而为, 并不能做到完美 方案 基于一下3个基础的数据结构, 2层索引 s3chuninfolist[index] = [s3chunkinfo(s)] s3chunkinfo { } s3 object命名: chunkid_version_index (index为obj在chunk内的index) 执行步骤 数据整理作为一个后台服务(线程池), 运行于metaserver, 遍历metaserver的inode进行数据整理的尝试, 入队inodekey, 如果是已有inode任务, enqueue直接返回, 不入队 任务开始执行, 尝试根据inodekey获取inode信息