© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush到s3上，在读场景上，能够预读1个block大小，减少顺序读对于底层s3的访问频次。从这个思路上该缓存方案主要针对的场景是顺序写和顺序 读，而对于随机写和随机读来说也会有一定性能提升，但效果可能不会太好。 元数据采用2层索引 由于chunk大小是固定的（默认64M），所以Inode中采用map读写缓存分离 读写缓存的设计采用的是读写缓存分离的方案。 写缓存一旦flush即释放，读缓存采用可设置的策略进行淘汰（默认LRU），对于小io进行block级别的预读。 即读写缓存相互没影响不相关， 缓存层级 缓存层级分为fs->file->chunk->datacache 4层，通过inodeId找到

Page 1 of 9 Curvefs-S3 本地写缓存盘方案© XXX Page 2 of 9 背景 方案设计 主要数据结构定义 方案设计思考 POC验证 背景 当前，s3客户端在写底层存储的时候是直接写入远端对象存储，由于写远端时延相对会较高，所以为了提升性能，引入了写本地缓存盘方案。也即要写底层存储时，先把数据写到本地缓存硬盘，然后再把本地缓存 硬盘中的数据异步上传到远端对象存储。 方案设计© S3模块接收到写入后先写入写内存缓存页，如果满足持久化的条件后，那么则准备持久化。 如果未配置本地硬盘作为写缓存，那么直接持久化到远端的对象存储；如果配置了本地硬盘作为写缓存，那么则尝试先写入本地硬盘写缓存目录。 写本地硬盘缓存目录之前先判断缓存目录容量是否已达到阈值，如果已经达到阈值，那么则直接写入到远端对象存储；否则，则写入到本地硬盘写缓存目录中。文件写入本地硬盘写缓存目录后，从本地硬盘读目录© XXX Page 4 of 9 做一个硬链接链接到该文件。 本次io在本地硬盘写入好之后，异步上传模块会适时把本地硬盘写缓存目录中的文件上传到远端对象存储集群，上传成功后，删除本地写缓存目录中的对应文件。 同时，缓存清理模块会定时检查本地硬盘缓存目录容量情况，如果容量已经达到阈值了，则进行文件的清理工作。 另外，异常管理模块处理客户端挂掉后的文件重新上传问题。 主要数据结构定义 class

 容量管理：管理每个租户，分组下的容量，防止存储被写爆，影响服务可用性。  流量管理：按照租户，分组等多个维度对请求频率，长链接个数，报文大小，请求流控进行控制。  缓存机制：容灾目录，本地缓存，Server 缓存机制，是 Nacos 高可用的关键。  启动模式：按照单机模式，配置模式，服务模式，DNS 模式模式，启动不同的模块。  ⼀致性协议：解决不同数据，不同⼀致性要求情况下，不同⼀致性要求，是 变更快了之后如何管控控制变更风险，如灰度、回滚等  敏感配置如何做安全配置 Nacos 架构 < 22 概念介绍 配置(Configuration) 在系统开发过程中通常会将⼀些需要变更的参数、变量等从代码中分离出来独立管理，以独立的配 置文件的形式存在。目的是让静态的系统工件或者交付物（如 WAR，JAR 包等）更好地和实际的物 理运行环境进行适配。配置管理⼀般包含在系统部署的过程中，由系统管理员或者运维人员完成这 SDK 会在本地生成配置的快照。当客户端无法连接到 Nacos Server 时，可以使 用配置快照显示系统的整体容灾能力。配置快照类似于 Git 中的本地 commit，也类似于缓存，会 在适当的时机更新，但是并没有缓存过期（expiration）的概念。 Nacos 配置模型 基础模型 上图是 Nacos 配置管理的基础模型： 25 > Nacos 架构 1. Nacos 提供可视化

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 525 5.1.7 TiFlash 存算分离架构的软硬件要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 526 5 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1029 10.2.4 读写延迟增加· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2578 14.3.6 TiFlash 存算分离架构与 S3 支持 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 529 5.1.7 TiFlash 存算分离架构的软硬件要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 529 5 · · · · · · · · · · · · · · · · · · · · · · · · · 956 7.8.24 为什么 TiCDC 需要使用磁盘，什么时候会写磁盘，TiCDC 能否利用内存缓存提升同步性能？ · · 956 7.8.25 为什么在上游使用了 TiDB Lightning 物理导入模式和 BR 恢复了数据之后，TiCDC 同步会出现卡 顿甚至卡住？· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1283 10.2.4 读写延迟增加· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 458 5.1.7 TiFlash 存算分离架构的软硬件要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 458 5 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 965 10.2.4 读写延迟增加· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2569 14.3.6 TiFlash 存算分离架构与 S3 支持 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

Unix 文件名模式匹配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376 11.9 linecache --- 随机读写文本行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377 11.10 shutil --- 高阶文件操作 . . . . . . . . 448 13.6 tarfile --- 读写 tar 归档文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456 ii 14 文件格式 471 14.1 csv --- CSV 文件读写 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1233 22.2 aifc --- 读写 AIFF 和 AIFC 文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1236 22.3 sunau --- 读写 Sun AU 文件 . . . . . . . . . . . . . . . . . .

Unix 文件名模式匹配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376 11.9 linecache --- 随机读写文本行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377 11.10 shutil --- 高阶文件操作 . . . . . . . . 448 13.6 tarfile --- 读写 tar 归档文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456 ii 14 文件格式 471 14.1 csv --- CSV 文件读写 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1233 22.2 aifc --- 读写 AIFF 和 AIFC 文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1236 22.3 sunau --- 读写 Sun AU 文件 . . . . . . . . . . . . . . . . . .

文件名模式匹配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403 11.9 linecache --- 随机读写文本行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404 11.10 shutil --- 高阶文件操作 . . . . . . . . 481 13.6 tarfile --- 读写 tar 归档文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490 14 文件格式 505 14.1 csv --- CSV 文件读写 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1319 22.2 aifc --- 读写 AIFF 和 AIFC 文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1322 22.3 sunau --- 读写 Sun AU 文件 . . . . . . . . . . . . . . . . .

Unix 文件名模式匹配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410 11.9 linecache --- 随机读写文本行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411 v 11.10 shutil --- 高阶文件操作 --- 用 LZMA 算法压缩 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477 13.4.1 读写压缩文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477 13.4.2 在内存中压缩和解压缩数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490 13.6 tarfile --- 读写 tar 归档文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491 13.6.1 TarFile 对象