Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 Curve块存储 3. Curve文件存储 4. 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 3. iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool (降低写放大) 7. data stripe (增大并发) 8. zerocopy

分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 底座，完美支持云原生数据库的存算分离架 构 • Curve作为云存储中间件使用S3兼容的对象 存储作为数据存储引擎，为公有云用户提供 高性价比的共享文件存储 • 支持在物理机上挂载使用块设备或FUSE文件 致已经被提交，系统切换到新的配置(new)。RAFT协议简介 日志压缩 • 日志会不断增长，占用空间 • 采用快照的方式压缩日志 • 在某个时间点，整个系统的状态都以快照的形式写入 到稳定的持久化存储中 • 完成一次快照之后，删除时间点之前的所有日志和快 照。BRAFT简介 • raft协议提出之后，涌现出了非常多的实现，比如etcd，braft，tikv等。 • braft是raft的一

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 通常意义是支持 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 451 13 存储密钥 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 是一款监控众多参数的网络以及服务器、虚拟机、应用程序、服务、数据库、网站、云等的健康和完整性的软件。Zabbix 使用灵活 的通知机制，允许用户为几乎任何事件配置基于电子邮件的告警，以实现对服务器问题做出快速反应。Zabbix 基于存储的数据提供出色 的报告和数据可视化功能。这使得 Zabbix 成为容量规划的理想选择。 Zabbix 支持轮询和 trapping。所有 Zabbix 报告和统计数据以及配置参数都可以通过基于 Web 采集到的监控项值可以使用内置的绘图功能立即图形化 网络监控功能 • Zabbix 可以跟踪网站上的模拟鼠标点击的路径并检查功能和响应时间 丰富的可视化选项 • 创建自定义图形的能力，可以将多个监控项组合成一个聚合图形 • 网络拓扑图 • 在仪表盘中显示幻灯片 • 报表 • 被监控资源的高级（业务）视图 历史数据存储 • 存储在数据库中的数据 • 可配置的历史数据（保留趋势） • 内置管家程序 轻松配置

实现文件共享，使用 BIND 提供域名解析服务，使用 DHCP 动态管理主机地址，使用 Postfix 与 Dovecot 部署邮件系统，使用 Ansible 服务实现自动化运维，使用 iSCSI 服务部署网络存储，使用 MariaDB 数据库管理系统，使用 PXE+Kickstart 无人值守安装服务，使用 LNMP 架构部署动态网站环境等。此外， 本书的配套站点还深度点评了红帽 RHCSA、RHCE、RHCA 我们放到第一位来介绍。红帽公司成立于 1994 年，于 1998 年在纳斯达克上市，自从 1999 年起陆续收购了包括 JBoss 中间件供应商、CentOS（社区企业操作系统）、Ceph 企业级存储业务等在内的数十家高科技公司及热门产品，这么做的目的当然是为了对 主营业务红帽企业版 Linux 进行增强。 红帽企业版 Linux 最初于 2002 年 3 月面世，当年 Dell、HP、Oracle 使用命令行管理文件； ➢ 创建、查看和编辑文本文件； ➢ 管理本地用户和群组； ➢ 监控和管理 Linux 进程； ➢ 控制服务和守护进程； ➢ 利用文件系统权限控制文件访问； ➢ 分析和存储日志文件； ➢ 配置和确保 OpenSSH 服务的安全； ➢ 安装和更新软件包； ➢ 访问 Linux 文件系统； ➢ 管理 Linux 网络； ➢ 使用 Kickstart 安装红帽企业版

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497 13 存储密钥 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 是一款监控网络的众多参数以及服务器、虚拟机、应用程序、服务、数据库、网站、云等的健康和完整性的软件。Zabbix 使用灵活 的通知机制，允许用户为几乎任何事件配置基于电子邮件的告警，以实现对服务器问题做出快速反应。Zabbix 基于存储的数据提供出色 的报告和数据可视化功能。这使得 Zabbix 成为容量规划的理想选择。 Zabbix 支持轮询和 trapping。所有 Zabbix 报告和统计数据以及配置参数都可以通过基于 Web 采集到的监控项值可以使用内置的绘图功能立即绘图 网络监控功能 • Zabbix 可以跟踪网站上的模拟鼠标点击路径并检查功能和响应时间 广泛的可视化选项 • 创建自定义图形的能力，可以将多个监控项组合成一个聚合图形 • 网络拓扑图 • 在仪表盘中显示幻灯片 • 报表 • 受监控资源的高级（业务）视图 历史数据存储 • 存储在数据库中的数据 • 可配置的历史（保留趋势） • 内置管家程序 建议的配置 •

系统安全性和完整性检查 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 9.6 数据存储技巧 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 9.6.12 通过 $TMPDIR 指定临时存储目录 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 9.6.13 通过 LVM 扩展可用存储空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 9.6.14 通过挂载另一个分区来扩展可用存储空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 9.6.15 通过“mount --bind”挂载另一个目录来扩展可用存储空间 . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . 58 5.22.1 多架构库路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.22.2 多架构头文件路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.22.3 多架构支持下的 *.pc 文件路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 5.23 编译加固 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . FHS（文件系统层级规范）。特别地： • 构建二进制程序时会考虑 $(CPPFLAGS)、$(CFLAGS)、$(LDFLAGS)，等等。 • 安装文件时采纳 $(DESTDIR) 作为目标系统镜像的路径前缀 • 安装文件时使用 $(prefix) 的值，以便我们将其设置覆盖为 /usr Makefile $ cat debhello-0.0/Makefile prefix = /usr/local

检查 数据库 TLS 加密 (Database TLS encryption) 和 验证数据库证书 (Verify database certificate) • 指定数据库 TLS CA 文件的路径 或者，可以在/etc/zabbix/web/zabbix.conf.php 中进行设置： ... $DB['ENCRYPTION'] = true; $DB['KEY_FILE'] = ''; Zabbix 前端和数据库之间的连接进行完整验证的加密，请执行以下操作： • 检查数据库 TLS 加密并验证数据库证书 • 指定数据库 TLS 密钥文件的路径 • 指定数据库 TLS CA 文件的路径 • 指定数据库 TLS 证书文件的路径 请注意，数据库主机验证 (Database host verification) 已选中并显示为灰色-MySQL 不能跳过此步骤。 Warning: (Database TLS encryption) 和 验证数据库证书 (Verify database certificate) • 指定 数据库 TLS 密钥文件的路径 • 指定 数据库 TLS CA 文件的路径 • 指定 数据库 TLS 证书文件的路径 或者，可以在 /etc/zabbix/web/zabbix.conf.php: 中进行设置： ... $DB['ENCRYPTION'] = true;

服务运行。 在一台 Windows 主机上可以运行一个或多个 Zabbix agent 实例。如果安装一个实例可以使用默认的配置文件 C:\zabbix_agentd.conf 或者在命令中指定配置文件路径。如果安装多个实例，每一个 agent 必须有自己的配置文件 (其中一个实例可以使用默认的配置文件)。 在 Zabbix 源文件目录 conf/zabbix_agentd.win.conf 有一个配置文件样例。 以外的配置文件, 您应该使用以下命令进行服务安装： zabbix_agentd.exe --config --install 应指定配置文件的全路径。 Zabbix agent 多实例安装命令如下: zabbix_agentd.exe --config --install 启动 agent 启动 agent 服务, 可以通过控制面板或通过命令去完成。 启动单实例的 Zabbix agent，且配置文件路径为默认路径: zabbix_agentd.exe --start 启动单实例的 Zabbix agent，且配置文件路径不是默认路径: zabbix_agentd.exe --config --start 启动多实例的