9 Curvefs-S3 本地写缓存盘方案© XXX Page 2 of 9 背景 方案设计 主要数据结构定义 方案设计思考 POC验证 背景 当前，s3客户端在写底层存储的时候是直接写入远端对象存储，由于写远端时延相对会较高，所以为了提升性能，引入了写本地缓存盘方案。也即要写底层存储时，先把数据写到本地缓存硬盘，然后再把本地缓存 硬盘中的数据异步上传到远端对象存储。 方案设计© XXX 足持久化的条件后，那么则准备持久化。 如果未配置本地硬盘作为写缓存，那么直接持久化到远端的对象存储；如果配置了本地硬盘作为写缓存，那么则尝试先写入本地硬盘写缓存目录。 写本地硬盘缓存目录之前先判断缓存目录容量是否已达到阈值，如果已经达到阈值，那么则直接写入到远端对象存储；否则，则写入到本地硬盘写缓存目录中。文件写入本地硬盘写缓存目录后，从本地硬盘读目录© XXX Page 4 of 9 做一个硬链接链接到该文件。 做一个硬链接链接到该文件。 本次io在本地硬盘写入好之后，异步上传模块会适时把本地硬盘写缓存目录中的文件上传到远端对象存储集群，上传成功后，删除本地写缓存目录中的对应文件。 同时，缓存清理模块会定时检查本地硬盘缓存目录容量情况，如果容量已经达到阈值了，则进行文件的清理工作。 另外，异常管理模块处理客户端挂掉后的文件重新上传问题。 主要数据结构定义 class DiskCacheManagerImpl

收集性能和可用性数据。proxy 是 Zabbix 部署的可选部分；但是对于分散单个 Zabbix server 的 负载非常有用。 Agent Zabbix agent 部署在被监控目标上，以主动监控本地资源和应用程序，并将收集到的数据报告给 Zabbix server。从 Zabbix 4.4 开始， 有两种类型的 agent 可用：Zabbix agent （轻量级，在许多平台上支持，用 C 编写）和Zabbix 机将立即被分配到组内的其他 proxy，实现 proxy 负载均衡和高可用。 了解更多信息, 参阅proxy 负载均衡和高可用。 多线程 在过渡到多线程架构的过程中，进行了以下一些更改： • 添加了一个新的配置参数：--with-stacksize。该参数允许覆盖系统使用的默认线程堆栈大小（以 kb 为单位）。 9 • 用户宏解析已从预处理管理器移至预处理工作进程。 在运行时检测 cURL 库特性 之前，每个网络发现规则都由一个发现进程处理。因此，规则内的所有服务检查只能按顺序执行。 在新版本中，网络发现进程已重新设计，以允许服务检查之间的并发性。已添加一个新的发现管理器进程，以及可配置数量的发现工作进 程（或线程）。 发现管理器处理发现规则，并为每个规则创建一个包含任务（服务检查）的发现作业。服务检查由发现工作进程接收并执行。只有那些具 有相同 IP 和端口的检查才会按顺序进行调度，因为某些设备可能不允许在相同端口上进行并发连接。

数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 Flush流程 FsSync流程 后台流程 poc测试验证 背景 s3ChunkInfoMap用于保存对象存储的位置信息。采用2级索引的好处是，根据操作的offset可以快速定位到index，则只需要遍历index相关的S3ChunkInfoList，减少了遍历的范围。 对象名设计 对象名采用chunkId+blockindex+compaction（后台碎片整理才会使用，默认0）+inodeId。增加inodeId的目的是为了后续从对象存储上遍历，反查文件，这里就要求inodeId是永远不可重复。 理（马杰负责）模块进行truncate的无效数据清理 后台刷数据线程© XXX Page 4 of 9 启动后台线程，将写Cache定时刷到S3上，同时通过inodeManager更新inode缓存中的s3InfoList。具体细节见 本地磁盘缓存 如果有配置writeBack dev，则会调用diskStroage进行本地磁盘write，最终写到s3则由diskStroage模块决定。 关键数据结构

在指定时间执行一个任务 atop 监控Linux系统资源与进程的工具 atq 列出当前用户的at任务列表 atrm 删除待执行任务队列中的指定任务 awk 文本和数据进行处理的编程语言 axel 多线程下载工具 B badblocks 查找磁盘中损坏的区块 base64 base64 编码/解码文件或标准输入输出 basename 打印目录或者文件的基本名称 batch 在系统不繁忙的时候执行定时任务 连接多个文件并打印到标准输出 cd 切换用户当前工作目录 cdrecord Linux系统下光盘刻录功能命令 chage 修改帐号和密码的有效期限 chattr 用来改变文件属性 chcon 修改对象（文件）的安全上下文 chfn 用来改变finger命令显示的信息 chgrp 用来变更文件或目录的所属群组 chkconfig 检查或设置系统的各种服务 chmod 用来变更文件或目录的权限 验证已安装的RPM软件包的正确性 rsh 连接远程主机并执行命令 rsync 远程数据同步工具 runlevel 打印当前Linux系统的运行等级 S sar 系统运行状态统计工具 scp 加密的方式在本地主机和远程主机之间复制文件 screen 用于命令行终端切换 sed 功能强大的流式文本编辑器 seinfo 查询SELinux的策略提供多少相关规则 semanage 默认目录的安全上下文查询与修改

收集性能和可用性数据。proxy 是 Zabbix 部署的可选部分；但是对于分散单个 Zabbix server 的 负载非常有用。 Agent Zabbix agent 部署在被监控目标上，以主动监控本地资源和应用程序，并将收集到的数据报告给 Zabbix server。从 Zabbix 4.4 开始， 有两种类型的 agent 可用：Zabbix agent （轻量级，在许多平台上支持，用 C 编写）和Zabbix HTTP 方法请求。 另请参阅：其他 JavaScript 对象。 审计日志 记录 审计日志现在包含有关所有 Zabbix 对象的所有配置更改的记录，包括由于执行 LLD 规则、网络发现操作、自动注册操作或脚本执行而发 生的更改。以前，从 Zabbix server 发起的配置更改，例如作为执行发现规则的结果，不会被记录。现在，此类对象修改将存储为归属于 用户系统的审计记录。 记录过滤器 添 在仪表板中使用的显示某种类型和来源的信息（摘要、地图、图表、时钟等）的可视化单元。 Zabbix API - Zabbix API 允许您使用 JSON RPC 协议来创建、更新和获取 Zabbix 对象（如主机、监控项、图表等）或执行任何其他自定 义任务。 Zabbix server - Zabbix 软件的中央进程，执行监控、与 Zabbix proxy 和 agent 交互、计算触发器、发送通知；数据的中央存储库。

如果没有密码请注释掉此行. DBSchema no Schema 名字. IBM DB2 和 PostgreSQL 使用. DBSocket no 3306 MySQL socket 的路径 数据库端口（不使用本地 socket），SQLiteg 不使用该参 数. DBUser 数据库用户名. SQLite 可不需 要. DataSenderFrequency no 1-3600 1 Proxy 每 N PidFile no /tmp/zabbix_proxy.pid PID 文件名称. ProxyLocalBuffer no 0-720 0 proxy 将在本地保存数据 N 个 小时，即使数据已经与服务器 同步了。 如果第三方应用程序使用本地 数据，则可以使用该参数。 58 Parameter Mandatory Range Default Description ProxyMode no 0-1 inactive, wired, cached 被认为是使用的内存，因为他们存储一些有用的信息。 同样，inactive, cached, free 也被认为是可用内存，因为这些内存可以立即被分配给需要更多内存的线程。 所 以 不 活 动 的 内 存 是 同 时 可 以 是 使 用 和 可 用 的。 正 因 为 如 此, item vm.memory.size[used] 只 用 来 获 得 信 息, 监 控 项

zabbix < images.sql shell> mysql -uzabbix -p zabbix < data.sql PostgreSQL 需要使用有权限的用户去创建数据库对象。以下 shell 命令将创建 zabbix 用户。在提示下请输入密码并再次确认密码。（注意，可能首 先要求输入 sudo 命令对应的用户密码）： You need to have database up the database please consult your Database administrator. Oracle 假设在 Oracle 服务器 host 上存在有权限创建数据库对象的用户（用户名为 zabbix，密码为 password), 并且该用户具有/tmp 目录的写 入权限。Zabbix 数据库需要使用 UTF8 字符集。检查当前设置： 6 We assume that of trigger events, item values and trends in a newline-delimited JSON format. 导出完成后的文件中，每一行都是 JSON 对象。值映射不被应用。Exporting is done into files, where each line of the export file is a JSON object. Value mappings

zabbix < images.sql shell> mysql -uzabbix -p zabbix < data.sql PostgreSQL 需要使用有权限的用户去创建数据库对象。以下 shell 命令将创建 zabbix 用户。在提示下请输入密码并再次确认密码。（注意，可能首 先要求输入 sudo 命令对应的用户密码）： You need to have database up the database please consult your Database administrator. Oracle 假设在 Oracle 服务器 host 上存在有权限创建数据库对象的用户（用户名为 zabbix，密码为 password), 并且该用户具有/tmp 目录的写 入权限。Zabbix 数据库需要使用 UTF8 字符集。检查当前设置： 6 We assume that of trigger events, item values and trends in a newline-delimited JSON format. 导出完成后的文件中，每一行都是 JSON 对象。值映射不被应用。Exporting is done into files, where each line of the export file is a JSON object. Value mappings

zabbix < images.sql shell> mysql -uzabbix -p<您 的 密 码> zabbix < data.sql PostgreSQL 需要使用有权限的用户去创建数据库对象。以下 shell 命令将创建 zabbix 用户。在提示下请输入密码并再次确认密码。（注意，可能首 先要求输入 sudo 命令对应的用户密码）： shell> sudo -u postgres createuser 请咨询数据库管理员。 TIMESCALEDB 在单独的部分中提供了有关创建和配置 TimescaleDB 的说明 Oracle 假设在 Oracle 服务器 host 上存在有权限创建数据库对象的用户（用户名为 zabbix，密码为 password ), 并且该用户具有/tmp 目录的写 入权限。Zabbix 数据库需要使用 UTF8 字符集。检查当前设置： sqlplus> select 信息）。 6 实时导出事件，监控项采集值，趋势数据 概述 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值和趋势数据。 导出完成后的文件中，每一行都是一个 JSON 对象。值映射不被应用。 如果出现错误（导出文件无法写入数据、无法重命名导出文件或重命名后无法创建新的导出文件），数据项将被删除，并且永远不会写入导 出文件。它只写入 Zabbix 数据库中。当写入问题

zabbix < images.sql shell> mysql -uzabbix -p zabbix < data.sql PostgreSQL 需要使用有权限的用户去创建数据库对象。以下 shell 命令将创建 zabbix 用户。在提示下请输入密码并再次确认密码。（注意，可能首 先要求输入 sudo 命令对应的用户密码）： You need to have database up the database please consult your Database administrator. Oracle 假设在 Oracle 服务器 host 上存在有权限创建数据库对象的用户（用户名为 zabbix，密码为 password), 并且该用户具有/tmp 目录的写 入权限。Zabbix 数据库需要使用 UTF8 字符集。检查当前设置： 7 We assume that of trigger events, item values and trends in a newline-delimited JSON format. 导出完成后的文件中，每一行都是 JSON 对象。值映射不被应用。Exporting is done into files, where each line of the export file is a JSON object. Value mappings