© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 Flush流程 FsSync流程 后台流程 poc测试验证 背景 基于s3的daemon版本基于基本的性能测试发现性能非常差。具体数据如下： 通过日志初步分析有2点原因© XXX Page 3 of 9 1.append接口目前采用先从s3 get，在内存中合并完后再put的方式，对s3操作过多 2.对于4k 小io每次都要和s3交互，导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush到s3上，在读场景上，能够预读1个block大小，减少顺序读对于底层s3的访问频次。从这个思路上该缓存方案主要针对的场景是顺序写和顺序 读，而对于随机写和随机读来说也会有一定性能提升，但效果可能不会太好。 元数据采用2层索引 由于chunk大小是固定的（默认64M），所以Inode中采用map

0 码力 | 9 页 | 179.72 KB | 5 月前

3

© XXX Page 1 of 11 curvefs对接s3方案设计（过程文档）© XXX Page 2 of 11 时间 修订人 修订内容 2021-05-20 胡遥 初稿 2021-07-20 胡遥 细化write和read流程 整体架构 整体思路 接口和关键数据结构 mds.proto client端数据结构 metaserver.proto space相关数据结构和proto 整体架构 S3ClientAdaptor模块：负责将文件数据进行chunk，以及block的拆分为s3的object，并写入/读取s3的object。 S3-allocator模块：负责分配s3-object唯一标识。© XXX Page 3 of 11 整体思路 curvefs对接s3和对接volume主要的区别在于数据持久化和空间分配部分，而元数据的操作尽量保持统一。因此我 流程主要在read/write/flush，以及空间分配申请（s3不需要释放空间，可 直接删除对应s3 object） 文件首先会按照chunk进行拆分，每个chunk固定64M/1G（待定），chunk内部会划分为多个block，每个block最大4M，每个block对应s3上一个object。 s3上对象已chunkid_indexblock_version进行

主要数据结构定义 方案设计思考 POC验证 背景 当前，s3客户端在写底层存储的时候是直接写入远端对象存储，由于写远端时延相对会较高，所以为了提升性能，引入了写本地缓存盘方案。也即要写底层存储时，先把数据写到本地缓存硬盘，然后再把本地缓存 硬盘中的数据异步上传到远端对象存储。 方案设计© XXX Page 3 of 9 S3模块接收到写入后先写入写内存缓存页，如果满足持久化的条件后，那么则准备持久化。

© XXX Page 1 of 3 curvefs s3数据整理(合并碎片、清理冗余)© XXX Page 2 of 3 1. 2. 3. 1. 2. 3. 4. 5. 6. 1. 2. 背景 只考虑单客户端, 单metaserver 为了解决的问题: 客户端在对一个文件的某个部分多次写入后, 同一个chunk会产生很多版本数据; 而客户端在读的时候 s3chunkinfo { chunkid version // write always 0, compact will increase it offset len } s3 object命名: chunkid_version_index (index为obj在chunk内的index) 执行步骤 数据整理作为一个后台服务(线程池), 运行于metaserver 的尝试, 入队inodekey, 如果是已有inode任务, enqueue直接返回, 不入队 任务开始执行, 尝试根据inodekey获取inode信息, 获取不到就退出; 不是s3类型的inode退出 对于每一个s3类型的inode来说, 对每一个index内的chunkinfo按照chunkid升序排序. 对于一个chunk来说，chunkinfo数量大于20即进行处理 计算变更 - 记录整个chunk最大的chunkid

24 Quick Start S3 Bucket Name QSS3BucketName aws- cnquickstart 资源所在的 S3 存储 桶。请不要 更改此选 项，除⾮您对启动脚 RocketMQ 快速部署脚本做了 ⾃定义化并且 上传到了您⾃⼰ 的桶中。 25 Quick Start S3 Key Prefix QSS3KeyPrefix QSS3KeyPrefix quickstart- rocketmq/ S3 前缀。请不要更改此选项， 除⾮您对此启动脚本做了⾃定义 Page 12 of 21 化并且存放到了不同的前缀⽬录 下。 选项 2：⽤于将 RocketMQ 部署到现有 VPC 的参数 参数标签 参数名称 默认值 说明 Network Configuration Quick Start S3 Bucket Name QSS3BucketName aws- cnquickstart 资源所在的 S3 存储 桶。请不要 更改此选 项，除⾮您对启动脚 Page 13 of 21 本做了⾃定义化并且上传到了您 ⾃⼰的桶 中。 8 Quick Start S3 Key Prefix

code is executed based on the response of events in AWS services such as adding /removing files in S3 bucket, updating Amazon DynamoDB tables, HTTP request from Amazon API Gateway etc. Audience 17. AWS LAMBDA — USING LAMBDA FUNCTION WITH AMAZON S3 ...................................... 244 Steps for Using AWS Lambda Function with Amazon S3 .................................................. 244 Creating S3 Bucket ................................................................................................................................. 245 Create Role that Works with S3 and Lambda

Using the S3 Storage Plugin with gpbackup and gprestore 560 Using the S3 Storage Plugin with gpbackup and gprestore 0 Prerequisites 560 Installing the S3 Storage Plugin 560 Using the S3 Storage Plugin Plugin 560 S3 Storage Plugin Configuration File Format 562 VMware Greenplum v6.18 Documentation VMware, Inc. 30 Using the DD Boost Storage Plugin with gpbackup, gprestore, and gpbackup_manager 564 Using 0 s3:// Protocol 783 s3:// Protocol 0 Configuring and Using S3 External Tables 783 About the S3 Protocol URL 785 About S3 Data Files 786 s3 Protocol AWS Server-Side Encryption Support 787 s3 Protocol

Using the S3 Storage Plugin with gpbackup and gprestore 492 Using the S3 Storage Plugin with gpbackup and gprestore 0 Prerequisites 492 Installing the S3 Storage Plugin 492 Using the S3 Storage Plugin Plugin 492 S3 Storage Plugin Configuration File Format 494 Using the DD Boost Storage Plugin with gpbackup, gprestore, and gpbackup_manager 496 VMware Greenplum v6.17 Documentation VMware, Inc. 26 Using 0 s3:// Protocol 715 s3:// Protocol 0 Configuring and Using S3 External Tables 715 About the S3 Protocol URL 717 About S3 Data Files 718 s3 Protocol AWS Server-Side Encryption Support 719 s3 Protocol

Using the S3 Storage Plugin with gpbackup and gprestore 569 Using the S3 Storage Plugin with gpbackup and gprestore 0 Prerequisites 569 Installing the S3 Storage Plugin 569 Using the S3 Storage Plugin Plugin 569 S3 Storage Plugin Configuration File Format 571 VMware Greenplum v6.19 Documentation VMware, Inc. 31 Using the DD Boost Storage Plugin with gpbackup, gprestore, and gpbackup_manager 573 Using Protocol 0 s3:// Protocol 792 s3:// Protocol 0 Configuring the s3 Protocol 792 Using s3 External Tables 793 About the s3 Protocol LOCATION URL 794 About Reading and Writing S3 Data Files 795 s3 Protocol

Storage Plugins 561 Using the S3 Storage Plugin with gpbackup and gprestore 561 Prerequisites 561 Installing the S3 Storage Plugin 561 Using the S3 Storage Plugin 562 S3 Storage Plugin Configuration pxf:// Protocol 780 s3:// Protocol 781 Configuring the s3 Protocol 782 Using s3 External Tables 782 About the s3 Protocol LOCATION URL 783 About Reading and Writing S3 Data Files 785 s3 Protocol AWS Server-Side Server-Side Encryption Support 786 s3 Protocol Proxy Support 786 About the s3 Protocol Configuration File 787 About Specifying the Configuration File Location 789 s3 Protocol Limitations 790 VMware Tanzu