© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush到s3上，在读场景上，能够预读1个block大小，减少顺序读对于底层s3的访问频次。从这个思路上该缓存方案主要针对的场景是顺序写和顺序 读，而对于随机写和随机读来说也会有一定性能提升，但效果可能不会太好。 元数据采用2层索引 由于chunk大小是固定的（默认64M），所以Inode中采用map缓存分离 读写缓存的设计采用的是读写缓存分离的方案。 写缓存一旦flush即释放，读缓存采用可设置的策略进行淘汰（默认LRU），对于小io进行block级别的预读。 即读写缓存相互没影响不相关， 缓存层级 缓存层级分为fs->file->chunk->datacache 4层，通过inodeId找到f

Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 • 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存如何保证更新，如何与数据库同步 同步、更新  被动方式  缓存过期  定期同步  主动方式  监听数据变化 数据加载，更新 热数据的交换 冷 热 新 系 统 历 史 数 据 冷数据、数据量多 缓存成本大、命中低、收益小 热 数 据 当前系统中的热点数据 命中率高 系 统 新 增 数 据 近期新增数据，较大概率命中 存储空间 缓存性能 冷热可交换，引擎可扩展 06. 冷热数据交换，通过栈式缓存结构，实现多级缓存策略 语言的局限性 07. 基于golang语言，内存对象超过百万量级后出现的GC耗时问题

Page 1 of 9 Curvefs-S3 本地写缓存盘方案© XXX Page 2 of 9 背景 方案设计 主要数据结构定义 方案设计思考 POC验证 背景 当前，s3客户端在写底层存储的时候是直接写入远端对象存储，由于写远端时延相对会较高，所以为了提升性能，引入了写本地缓存盘方案。也即要写底层存储时，先把数据写到本地缓存硬盘，然后再把本地缓存 硬盘中的数据异步上传到远端对象存储。 方案设计© S3模块接收到写入后先写入写内存缓存页，如果满足持久化的条件后，那么则准备持久化。 如果未配置本地硬盘作为写缓存，那么直接持久化到远端的对象存储；如果配置了本地硬盘作为写缓存，那么则尝试先写入本地硬盘写缓存目录。 写本地硬盘缓存目录之前先判断缓存目录容量是否已达到阈值，如果已经达到阈值，那么则直接写入到远端对象存储；否则，则写入到本地硬盘写缓存目录中。文件写入本地硬盘写缓存目录后，从本地硬盘读目录© XXX Page 4 of 9 做一个硬链接链接到该文件。 本次io在本地硬盘写入好之后，异步上传模块会适时把本地硬盘写缓存目录中的文件上传到远端对象存储集群，上传成功后，删除本地写缓存目录中的对应文件。 同时，缓存清理模块会定时检查本地硬盘缓存目录容量情况，如果容量已经达到阈值了，则进行文件的清理工作。 另外，异常管理模块处理客户端挂掉后的文件重新上传问题。 主要数据结构定义 class

LOGO p2p缓存系统 基于Golang的Aop设计模式 龚浩华 QQ 29185807 月牙寂 背景 v Web缓存（类似CDN技术） § 网页、图片 § 普通下载 § 普通视频 v P2P缓存 § 下载（bt等） § 视频（qvod、百度影音等） 背景 v P2P缓存好处 § 一次获取，多次利用 § 减少局域网出网流量 减少局域网出网流量 § 提升用户体验 背景 v P2P缓存服务器（基于c++开发） § 代码量大 § 协议数量多 § 耦合性高 § 潜在bug多 重构 or 重新推倒？ 背景 现实世界是怎么样的 分布式、并发 职能化、松散化 自组织、智能化 程序框架是否也可以这样？ OOP v C++对象代码运行 仍然存在不确定性 现实世界的设计模式直接可以拿来借鉴 P2P缓存框架 P2P缓存框架 1、入口监听模块 常驻 功能监听识别连接 2、任务管理模块 常驻 管理任务、分流client P2P缓存框架 3、任务模块 文件缓存度：是否需要下载 文件热点程度：是否热点

常见操作所花费的时间 • 图中加法 (add) 和乘法 (mul) 都指的整数。 • 区别是浮点的乘法和加法基本是一样速度。 • L1/2/3 read 和 Main RAM read 的时间指的是 读一个缓存行（ 64 字节）所花费的时间。 • 根据计算： 125/64*4≈8 • 即从主内存读取一次 float 花费 8 个 cycle ， 符合小彭老师的经验公式。 • “right” 和“ wrong” 相差不多，符合我的预期 。 第 2 章：缓存与局域性 针对不同数据量大小的带宽测试 • 我们试试看 a 不同的大小，对带宽有什么影响。 针对不同数据量大小的带宽测试（续） • 可见数据量较小时，实际带宽甚至超过了 理论带宽极限 42672 MB/s ！ • 而数据量足够大时， 才回落到正常的带宽 。 • 这是为什么？ CPU 内部的高速缓存 • 原来 CPU 的厂商早就意识到了内存延迟高，读写效率低 器——虽然小，但是读写速度却特别快。这片小而快的 存储器称为缓存（ cache ）。 • 当 CPU 访问某个地址时，会先查找缓存中是否有对应的 数据。如果没有，则从内存中读取，并存储到缓存中； 如果有，则直接使用缓存中的数据。 • 这样一来，访问的数据量比较小时，就可以自动预先加 载到这个更高效的缓存里，然后再开始做运算，从而避 免从外部内存读写的超高延迟。 缓存的分级结构 查看高速缓存大小： lscpu • 可以看到我们

运⾏行时的⼀一些⽂文件 │ │ ├── Cache -­‐-­‐-­‐-­‐ 缓存⺫⽬目录 │ │ ├── Data -­‐-­‐-­‐-­‐ 数据⺫⽬目录 ⾏行为是 ThinkJS 扩展机制中⼀一项⽐比较关键的扩展，⾏行为可以独⽴立调⽤用，也可以整合到标签 (tag) ⾥里⼀一起调⽤用，⾏行为 是执⾏行过程中⼀一个动作或事件。如：路由检测是个⾏行为、静态缓存检测也是个⾏行为。 标签 (tag) 是⼀一组⾏行为的集合，是在系统执⾏行过程中切⾯面处调⽤用的。与 EventEmitter 不同，标签⾥里的⾏行为是按 顺序执⾏行的，当前的⾏行为通过 Promise js 框架类 lib/Lib/Core/View.js 视图类 lib/Lib/Util/Behavior.js ⾏行为基类 lib/Lib/Util/Cache.js 缓存基类 lib/Lib/Util/Cookie.js cookie 类 lib/Lib/Util/Filter.js 数据过滤类 lib/Lib/Util/Session.js

sqlSession 即会话，操作数据库需要通过 sqlSession 进行。 4、 mybatis 底层自定义了 Executor 执行器接口操作数据库，Executor 接口有两个实现，一个 是基本执行器、一个是缓存执行器。 5、 Mapped Statement 也是 mybatis 一个底层封装对象，它包装了 mybatis 配置信息及 sql 映射信息等。mapper.xml 文件中一个 sql 对应一个 resultType 或 resultMap 完成映射。 6 查询缓存 6.1 mybatis 缓存介绍 如下图，是 mybatis 一级缓存和二级缓存的区别图解： sqlSession1 sqlSession 2 sqlSession3... 一级缓存 一级缓存 一级缓存 Mapper(namespace)二级缓存 Mybatis 一级缓存的作用域是同一个 SqlSession，在同一个 sqlSession sqlSession 中两次执行相同的 sql 语句，第一次执行完毕会将数据库中查询的数据写到缓存（内存），第二次会从缓存中获取 数据将不再从数据库查询，从而提高查询效率。当一个 sqlSession 结束后该 sqlSession 中的 一级缓存也就不存在了。Mybatis 默认开启一级缓存。 Mybatis 二级缓存是多个 SqlSession 共享的，其作用域是 mapper 的同一个 namespace，不同

通过字段值删除数据 获取总数 获取列表 注意事项 同时查询多个库 模型-MongoDB Orm详细Api 服务 视图 统一的API Html模板引擎 Blade模板引擎 锁-并发处理 缓存 语言包 日志 调试 Session自定义保存位置 框架自带的扩展包 插件 使用说明 系统挂载点 常用常量 命令行运行程序 守护工作进程 队列服务 2 1.6.22 1 composer、分布式数据库、分布式缓存(异常自动容灾)，支持文件、memcache、redis、apc等缓存， 支持多种url模式、URL路由[RESTful]，支持多项目集成、第三方扩展、支持插件。 CmlPHP在Model层做了缓存集成，开发者无需关注数据缓存的问题，按照相应的API调用即可获得最大 性能。从而从根本上避免了新手未使用缓存，或缓存使用不当造成的性能不佳的问题。也杜绝了多人 协同开发缓存同步及管理的问题 'runtime_cache_path' => Cml::getApplicationDir('secure_src').'/Runtime' . DIRECT ORY_SEPARATOR . 'Cache',//运行时模板缓存 、文件缓存目录 'runtime_logs_path' => Cml::getApplicationDir('secure_src').'/Runtime' . DIRECTO RY_SEPARATOR

1.6.22 1.6.23 注意事项 同时查询多个库 模型-MongoDB Orm详细Api 服务 视图 统一的API Html模板引擎 Blade模板引擎 锁-并发处理 缓存 语言包 日志 调试 Session自定义保存位置 框架自带的扩展包 插件 使用说明 系统挂载点 常用常量 命令行运行程序 守护工作进程 队列服务 权限管理 数据验证 1 支持composer、分布式数据库、分 布式缓存(异常自动容灾)，支持文件、memcache、redis、apc等缓存， 支持多种url模式、URL路由[RESTful]，支持多项目集成、第三方扩 展、支持插件。 CmlPHP在Model层做了缓存集成，开发者无需关注数据缓存的问题， 按照相应的API调用即可获得最大性能。从而从根本上避免了新手未 使用缓存，或缓存使用不当造成的性能不佳的问题。也杜绝了多人协 绝了多人协 同开发缓存同步及管理的问题 CmlPHP支持根目录、子目录，单入口、多入口部署、支持独立服务 器、虚拟主机、VPS等多种环境，绝大部分开发环境可直接运行，无 需配置伪静态规则(部分低版本server只要修改框架URL配置即可，框 架会自动处理)，快速上手开发。线上环境对SEO有要求时再配置伪静 态即可。 初始化一个项目 为了方便开发人员初始化框架所需的目录结构及文件，cmlphp提供了

统一的API 1.6.9.1 2. Html模板引擎 1.6.9.2 3. Blade模板引擎 1.6.9.3 10. 锁-并发处理 1.6.10 11. 缓存 1.6.11 12. 语言包 1.6.12 13. 日志 1.6.13 14. 调试 1.6.14 15. Session自定义保存位置 1.6.15 支持composer、分布式数据库、分布式缓存(异常自动容灾)，支持文件、 memcache、redis、apc等缓存，支持多种url模式、URL路由[RESTful]，支持多项目集 成、第三方扩展、支持插件。 CmlPHP在Model层做了缓存集成，开发者无需关注数据缓存的问题，按照相应的API调 用即可获得最大性能。从而从根本上避免了新手未使用缓存，或缓存使用不当造成的 性能不佳的问题。也杜绝了多人协同开发缓存同步及管理的问题 'runtime_cache_path' => Cml::getApplicationDir('secure_src').'/Runtime' . DIREC TORY_SEPARATOR . 'Cache',//运行时模板缓存 、文件缓存目录 'runtime_logs_path' => Cml::getApplicationDir('secure_src').'/Runtime' . DIRECT ORY_SEPARATOR