Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 快速跨云弹性发布的业务 3. 低成本大容量需求的业务 4. 中间件冷热数据自动分离 5. S3和POSIX统一访问需求 主要挑战和支持场景Curve Roadmap 1. 架构 1. 文件存储支持分布式缓存、完善冷热数据分层存储能力 2. 完善混合云、公有云上部署架构 3. 完善高性能3副本存储引擎，支持混合盘 4. 文件存储支持数据存储到HDFS、rados等引擎 2. 性能 1. 完善RDMA/SPDK方案，发布稳定版本

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设 施的开源操作系统。 openEuler 22.03 LTS 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 5.10 构建，对外接口遵循 POSIX 标准，具备天然协同基础。同时 openEuler 22.03 LTS 版本集成分布式软总线、KubeEdge 4%，发展日渐壮大。 openEuler 发布面向嵌入式领域的版本 openEuler 22.03 Embedded，提供更加丰富的嵌入式软件包构建能力，支 持实时 / 非实时平面混合关键部署，并集成分布式软总线。同时，将协同 openEuler 社区生态伙伴、用户、开发者，逐步 扩展支持 PowerPC、RISC-V 等芯片架构，增加确定性时延、工业中间件、仿真系统等能力，打造嵌入式领域操作系统解 Linux 5.10 内核提供软实时能力，软实时中断响应时延微秒级。 4. 混合关键性部署：实现 SOC 内实时和非实时多平面混合部署，并支持 Zephyr 实时内核。 5. 分布式软总线基础能力：集成鸿蒙的分布式软总线，实现欧拉嵌入式设备之间互联互通。 6. 嵌入式软件包支持：新增 80+ 嵌入式领域常用软件包的构建。 未来还将提供： 1. 确定性时延：基于分域多内核架构的确定性时延处

势， 创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设施的开源操作系统。 openEuler 24.03 LTS 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 6.6 构建， 对外接口遵循POSIX标准，具备天然协同基础。同时openEuler 24.03 LTS版本集成分布式软总线、KubeEdge+边云协同框架等能力， ros-core、ros-base、SLAM 等核心包，并提供 ROS SDK，简化嵌入式 ROS 开发。 3. 软实时内核：提供软实时能力，软实时中断响应时延微秒级。 4. 分布式软总线基础能力：集成 OpenHarmony 的分布式软总线和 hichain 点对点认证模块，实现欧拉嵌入式设备之间互联互通、 欧拉嵌入式设备和 OpenHarmony 设备之间互联互通。 5. 嵌入式容器与边缘：支持 8 种常见协议的错误率、时延等）硬件故障（UCE、磁盘介质错误等）等秒级巡检能力。 • 系统全栈 I/O 观测：提供面向分布式存储场景的 I/O 全栈观测能力，包括 GuestOS 进程级、Block 层的 I/O 观测能力，以及虚 拟化层存储前端 I/O 观测能力，分布式存储后端 I/O 观测能力。 • 精细化性能 Profiling：提供多维度（包括系统、进程、容器、Pod 等多个维度）、高精度（10ms

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 9.6.5 文件系统配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 系统管理员可以使用软件包工具的全部功能。但在默认的安装中会禁用那些具有安全风险的。 • 如果你手动激活了一些具有安全隐患的服务，你有责任遏制风险。 • 高深的配置可以由系统管理员手动启用。这可能会对用于系统配置的通用流行帮助程序造成干扰。 Debian 参考手册 37 / 233 软件包 流行度 大小 说明 dpkg V:915, I:999 6447 用于 Debian 的底层软件包管理系统（基于文件的） 有维护者对缺陷报告反馈 • BTS (缺陷跟踪系统): 有着更多的近期修复的 bug 数目 • BTS (缺陷跟踪系统): 遗留的非严重（non-wishlist）缺陷数量较少 Debian 是一个使用分布式开发模式的志愿项目，它的档案库包含了许多不同关注点和不同质量的软件包。你必须做出 自己的选择。 Debian 参考手册 46 / 233 2.1.11 怎样和不一致的要求协作 无论你决定使用哪个

发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基 础设施的开源操作系统。 openEuler 23.09 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 6.4 构 建，对外接口遵循 POSIX 标准，具备天然协同基础。同时 openEuler 23.09 版本集成分布式软总线、KubeEdge+ 同步和乒乓，从而提升锁的整体吞吐量，提升业务性能。 • 支持 TCP 压缩：大数据等场景节点间数据传输量大，网络传输是性能瓶颈。在 TCP 层对指定端口的数据进行压缩后 再传输，收包侧把数据解压后再传给用户态，从而提升分布式场景节点间数据传输的效率。 • 热补丁：内核热补丁主要针对内核的函数实现的 bug 进行免重启修复，原理主要在于如何完成动态函数替换， openEuler 上的 livepatch 与 Linux openEuler 发布面向嵌入式领域的版本 openEuler 23.09 Embedded（基于 5.10 内核） ，提供更加丰富的嵌入式软 件包构建能力，支持实时 / 非实时平面混合关键部署，并集成分布式软总线。openEuler Embedded 围绕工业和机器人领 域持续深耕，通过行业项目垂直打通，不断完善和丰富嵌入式技术栈和生态。openEuler 23.09 Embedded 支持嵌入式虚

获取Linux内核模块的详细信息 getenforce 显示当前SELinux的应用模式，是强制、执行还是停用 getsebool 查询SElinux策略内各项规则的布尔值 git 是目前世界上最先进的分布式版本控制系统 gpasswd Linux下工作组文件的管理工具 gpm 提供文字模式下的滑鼠事件处理 grep 强大的文本搜索工具 groupadd 用于创建一个新的工作组 groupdel 获取Linux内核模块的详细信息 getenforce 显示当前SELinux的应用模式，是强制、执行还是停用 getsebool 查询SElinux策略内各项规则的布尔值 git 是目前世界上最先进的分布式版本控制系统 gpasswd Linux下工作组文件的管理工具 gpm 提供文字模式下的滑鼠事件处理 grep 强大的文本搜索工具 groupadd 用于创建一个新的工作组 groupdel 补充说明 语法 选项 实例 getsebool 查询SElinux策略内各项规则的布尔值 - 430 - 本文档使用 书栈网 · BookStack.CN 构建 是目前世界上最先进的分布式版本控制系统 git命令 很多人都知道，Linus在1991年创建了开源的Linux，从此，Linux系统不断发展，已经成 为最大的服务器系统软件了。 Linus虽然创建了Linux，但Lin

要清空当前用户在本机上执行的 Linux 命令历史记录信息，可执行如下命令： [root@linuxprobe~]# history -c sosreport 命令用于收集系统配置及架构信息并输出诊断文档，输入该命令后按回车键执行即可。 当 Linux 系统出现故障需要联系技术支持人员时，大多数时候都要先使用这个命令来简 单收集系统的运行状态和服务配置信息，以便让技术支持人员能够远程解决一些小问题，抑 系统中，新建的普通文件的权限是 644，新建的目录的 权限是 755。虽然大家对此都习以为常，但是有考虑过权限为什么是这些数字么？ 其实，普通文件的默认权限是 666，目录的默认权限是 777，这都是写在系统配置文件中 的。但默认值不等于最终权限值。umask 参数的默认值是 022，根据公式“默认权限−umask ＝实际权限”，所以普通文件的默认权限到手后就剩下 644，而目录文件就剩下 755 了。 们最常使用的一种工作模式。 鉴于互联网中的域名和 IP 地址对应关系数据库太过庞大，DNS 域名解析服务采用了类 似目录树的层次结构来记录域名与 IP 地址之间的对应关系，从而形成了一个分布式的数据库 系统，如图 13-1 所示。 图 13-1 DNS 域名解析服务采用的目录树层次结构 域名后缀一般分为国际域名和国内域名。原则上来讲，域名后缀都有严格的定义，但在 实际使

有助于安装的硬件信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.2 推荐的最低系统配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 vi Abstract 本文是 处理网络连接，通常默认都使用 DHCP。 3.4 满足最低的硬件要求 您一旦收集好计算机上硬件配置的相关信息，复查一下您的硬件，就可以让您如愿以偿，安装上系统。 Table 3.2 推荐的最低系统配置 安装类别 RAM (最低要求) RAM (推荐配置) 硬盘 无桌面的系统 256 MB 512 MB 2 GB The minimum value assumes that swap will shell，您可以检查修复远程的系统。在安装 菜单只能打开一个 SSH 会话，但 shell 可以打开多个。 警告 使用 SSH 开始远程安装之后，您不该返回本地控制台运行的安装会话。这将破坏 新系统配置的数据库。结果可能导致安装失败或者安装完成的系统出现问题。 37 Chapter 7 启动进入新的 Debian 系统 7.1 关键时刻 当您的系统首次依靠自身启动，这在电子工程师圈子里面称为“冒烟测试”。

有助于安装的硬件信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.2 推荐的最低系统配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 vii Abstract 您一旦收集好计算机上硬件配置的相关信息，复查一下您的硬件，就可以让您如愿以偿，安装上系统。 基于您的需求，也许可以用低于下面表格所列的配置装上系统。但是，如果无视这些建议的话，多数 用户会安装失败。 Table 3.2 推荐的最低系统配置 安装类别 RAM (最低要求) RAM (推荐配置) 硬盘 无桌面的系统 256 MB 512 MB 2 GB 桌面系统 512 MB 2 GB 10 GB The minimum value DEBIAN 安装程序 6.4. 加载缺失的固件 菜单只能打开一个 SSH 会话，但 shell 可以打开多个。 警告 使用 SSH 开始远程安装之后，您不该返回本地控制台运行的安装会话。这将破坏 新系统配置的数据库。结果可能导致安装失败或者安装完成的系统出现问题。 6.4 加载缺失的固件 正如第 2.2 节里面所说，有些设备需要加载固件。大部分情况下，如果没有固件设备就无法工作；有时 没有固件