© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 3操作过多 2.对于4k 小io每次都要和s3交互，导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush到s3上，在读场景上，能够预读1个block大小，减少顺序读对于底层s3的访问频次。从这个思路上该缓存方案主要针对的场景是顺序写和顺序 读，而对于随机写和随机读来说也会有一定性能提升，但效果可能不会太好。 的目的是为了后续从对象存储上遍历，反查文件，这里就要求inodeId是永远不可重复。 读写缓存分离 读写缓存的设计采用的是读写缓存分离的方案。 写缓存一旦flush即释放，读缓存采用可设置的策略进行淘汰（默认LRU），对于小io进行block级别的预读。 即读写缓存相互没影响不相关， 缓存层级 缓存层级分为fs->file->chunk->datacache 4层，通过inodeId找到f

Page 1 of 9 Curvefs-S3 本地写缓存盘方案© XXX Page 2 of 9 背景 方案设计 主要数据结构定义 方案设计思考 POC验证 背景 当前，s3客户端在写底层存储的时候是直接写入远端对象存储，由于写远端时延相对会较高，所以为了提升性能，引入了写本地缓存盘方案。也即要写底层存储时，先把数据写到本地缓存硬盘，然后再把本地缓存 硬盘中的数据异步上传到远端对象存储。 方案设计© S3模块接收到写入后先写入写内存缓存页，如果满足持久化的条件后，那么则准备持久化。 如果未配置本地硬盘作为写缓存，那么直接持久化到远端的对象存储；如果配置了本地硬盘作为写缓存，那么则尝试先写入本地硬盘写缓存目录。 写本地硬盘缓存目录之前先判断缓存目录容量是否已达到阈值，如果已经达到阈值，那么则直接写入到远端对象存储；否则，则写入到本地硬盘写缓存目录中。文件写入本地硬盘写缓存目录后，从本地硬盘读目录© 4 of 9 做一个硬链接链接到该文件。 本次io在本地硬盘写入好之后，异步上传模块会适时把本地硬盘写缓存目录中的文件上传到远端对象存储集群，上传成功后，删除本地写缓存目录中的对应文件。 同时，缓存清理模块会定时检查本地硬盘缓存目录容量情况，如果容量已经达到阈值了，则进行文件的清理工作。 另外，异常管理模块处理客户端挂掉后的文件重新上传问题。 主要数据结构定义 class DiskCacheManagerImpl

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1611 1 可加载模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1621 2 3 前端模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1894 模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1894 模块文件结构 . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1476 20. 模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Zabbix agent 2 现在可以离线构建。源码 tarball 现在包含 src/go/vendor 目录，应该确保 golang 不会被强制自动下载依赖模块。仍然可以使用 go mod tidy 或 go get 命令手动更新到最新模块。 PostgreSQL 插件可加载 PostgreSQL 插件 现在可以在 Zabbix agent 2（以前内置）中加载。 另请参阅：PostgreSQL 表中的名称时创建，已经过优化，现在可以更有效地处理。 17 Zabbix 6.0.12 新功能 改进了历史同步器的性能 通过引入新的读写锁提高了历史同步器的性能。这通过在访问配置缓存时使用共享读锁减少了历史同步器、捕 获器和代理轮询器之间的锁定。新锁只能由配置同步器执行配置缓存重新加载。 18 Zabbix 6.0.13 新功能 重大变化 可加载插件版本控制 Loadable plugins for Zabbix agent

rmdir opendir readdir getattr & setattr access rename symlink & readlink link flush & fsync 其他 功能分析 模块划分 接口设计 Cache设计 时间 作者 内容 2021-04-27 许超杰 初稿 背景 CurveFS初步设计见 ， 目前需细化Client端设计 block），缓存到client端。 destroy void (*destroy) (void *userdata); 清理init缓存的文件系统信息。 lookup void (*lookup) (fuse_req_t req, fuse_ino_t parent, const char *name); 根据parent inode id和name从denty缓存中找到对应的denty结构； nty结构； 如果dentry缓存中不存在对应的inode，则从mds根据parent inode id获取parent inode 所在copyset，metaserver ip等信息 ，然后从metaserver获取denty（这里有两种方式，一种是只获取当前需要的 denty，一种是list整个目录的denty，这个需要考虑用哪个接口） 根据找到的denty结构，获取inodeid，设置

. . . . 37 4.1.1 非交互方式配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.1.2 使用内核模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.1.3 使用内核特性 . . . . . . . . . . 支持并升级 arm/vexpress-a9 的 U-Boot 到当前最新版本，另外，修复了一处新内核下在容器内插入 NFSD 模块导致的系统卡 死问题。 • v0.4 rc3 – 新增 aarch64/virt U-Boot 支持 – 临时修复新版本内核上容器内插入 NFSD 模块引起的 Sync 卡死问题 • v0.4 rc2 – 新增第 16 块开发板 – 新增 vnc 客户端登陆方法 Kali、Mint 等发行版支持。 • v0.9 rc3 – 新增 FAST FETCH 功能，支持单独快速下载指定内核版本 – 新增 ONESHOT 内存编译功能，在原有内存编译的基础上增加代码内存缓存支持 – 大幅优化 Linux Lab 的启动速度和交互性能，提升 10 到 20 倍 – 完善 Linux Lab for Windows 支持，同时兼容 Docker Toolbox 和 Docker

. . . . 37 4.1.1 非交互方式配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.1.2 使用内核模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.1.3 使用内核特性 . . . . . . . . . . 支持并升级 arm/vexpress-a9 的 U-Boot 到当前最新版本，另外，修复了一处新内核下在容器内插入 NFSD 模块导致的系统卡 死问题。 • v0.4 rc3 – 新增 aarch64/virt U-Boot 支持 – 临时修复新版本内核上容器内插入 NFSD 模块引起的 Sync 卡死问题 • v0.4 rc2 – 新增第 16 块开发板 – 新增 vnc 客户端登陆方法 Kali、Mint 等发行版支持。 • v0.9 rc3 – 新增 FAST FETCH 功能，支持单独快速下载指定内核版本 – 新增 ONESHOT 内存编译功能，在原有内存编译的基础上增加代码内存缓存支持 15 欢迎加入 Linux Lab 用户组，联系微信：tinylab，公众号：泰晓科技 – 大幅优化 Linux Lab 的启动速度和交互性能，提升 10 到 20 倍 – 完善 Linux

构建 bind 显示或设置键盘按键与其相关的功能 blkid 查看块设备的文件系统类型、LABEL、UUID等信息 blockdev 从命令行调用区块设备控制程序 bmodinfo 显示给定模块的详细信息 break 结束for，while或until循环 builtin 执行bash内建命令 bunzip2 创一个bz2文件压缩包 bye 命令用于中断FTP连线并结束程序 bzcat 连接文件并打印到标准输出设备上 D date 显示或设置系统时间与日期 dd 复制文件并对原文件的内容进行转换和格式化处理 declare 声明变量，设置或显示变量的值和属性 depmod 分析可载入模块的相依性 df 显示磁盘的相关信息 dhclient 动态获取或释放IP地址 dhcpd 运行DHCP服务器 dhcrelay 使用dhcrelay命令可以提供中继DHCP和BOOTP请求 显示当前每个ftp会话信息 fuser 使用文件或文件结构识别进程 G gcc 基于C/C++的编译器 gcov 测试程序的代码覆盖率的工具 gdb 功能强大的程序调试器 get_module 获取Linux内核模块的详细信息 getenforce 显示当前SELinux的应用模式，是强制、执行还是停用 getsebool 查询SElinux策略内各项规则的布尔值 git 是目前世界上最先进的分布式版本控制系统

缺少依赖导致的安装失败 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.6.2 软件包数据缓存错误 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.6.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 3.8.1 内核模块初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 9.10.3 编译内核和相关模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 9.10.4

. . . . 36 4.1.1 非交互方式配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.1.2 使用内核模块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.1.3 使用内核特性 . . . . . . . . . . 支持并升级 arm/vexpress-a9 的 U-Boot 到当前最新版本，另外，修复了一处新内核下在容器内插入 NFSD 模块导致的系统卡 死问题。 • v0.4 rc3 – 新增 aarch64/virt U-Boot 支持 – 临时修复新版本内核上容器内插入 NFSD 模块引起的 Sync 卡死问题 • v0.4 rc2 – 新增第 16 块开发板 – 新增 vnc 客户端登陆方法 Kali、Mint 等发行版支持。 • v0.9 rc3 – 新增 FAST FETCH 功能，支持单独快速下载指定内核版本 – 新增 ONESHOT 内存编译功能，在原有内存编译的基础上增加代码内存缓存支持 15 欢迎加入 Linux Lab 用户组，联系微信：tinylab，公众号：泰晓科技 – 大幅优化 Linux Lab 的启动速度和交互性能，提升 10 到 20 倍 – 完善 Linux