Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 支持灵活的信息过滤条件 内存不够用怎么办？ 03. 冷热可交换、策略可定制、内存可扩展，多种冷数据淘汰组件，自由组合 存储扩展，冷热数据交换 可自定义冷热数据交换策略 还能提供什么帮助？ 04. 降低硬件成本，降低依赖，保证稳定性 同样的性能，需要更少的硬件资源，降低成本 01 核心数据在本地，依赖少，更稳定 02 • 千万级内存对象，GC严重耗时，如何解决？ • 复杂的查询场景，内存数据如何高效组织？ 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存如何保证更新，如何与数据库同步 同步、更新  被动方式  缓存过期  定期同步  主动方式  监听数据变化 数据加载，更新 02. 全量数据加载，增量数据监听

基于静态分析的Rust内存安全缺陷检测研究 报告人：徐辉 报告日期：2022.11.25 复旦大学 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 Rust语言 ❑ 系统级安全编程语言 ▪ 内存安全 ▪ 并发安全 ▪ 效率 2006年 2011年 Mozilla裁员Servo团队 AWS, Huawei, Google, Microsoft, Mozilla… Rust如何保障内存安全？ ❑ 内存安全问题产生的主要原因之一是指针别名导致悬空指针 ▪ 手动释放内存或调用析构函数 ▪ 函数返回时发生的自动析构或内存释放 ❑ Rust设计的目标之一是编译时检查指针别名（共享可变引用） ▪ 但一般意义上的指针分析是NP-hard问题 ▪ 智能指针可行，但作为运行时方案，效率低 Unsafe API call Unsafe API access call Rust实际表现如何？ ❑ 调研了2020年12月31日前报告的185个内存安全漏洞[TOSEM'21] ▪ Rust在内存安全防护方面效果不错 ▪ 所有的漏洞（除了1个编译器漏洞）都需要unsafe code ▪ 大部分CVEs都是 API soundness的问题（未在可执行程序中发现）

大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 Java 应用与开发 Java 内存模型与分配机制 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 September 30, 2018 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 学习目标 1. 理解 JVM 内存模型，掌握 JVM 内存构成 2. 理解 程序的运行过程，学会通过调试模式观察内存的 变化 3. 了解 Java 内存管理，认识垃圾回收 4. 建立编程时高效利用内存、避免内存溢出的理念 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 ���� Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 Java 虚拟机（Java Virtual Machine, JVM） ▶ Java 程序运行在 JVM 上，JVM 是程序与操作系统之间的桥梁。 ▶ JVM 实现了 Java 的平台无关性。 ▶ JVM 是内存分配的前提。 类装载子系统 Class文件

协议标准的、提供持久化的内存数据库服务，基 于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 云数据库 Redis 版支持字符串（String）、链表（List）、集合（Set）、有序集合（SortedSet）、哈希表 （Hash）等多种数据类型，及事务（Transactions）、消息订阅与发布（Pub/Sub）等高级功能。 通过“内存+硬盘”的存储方式，云数据库 公测申请审批通过后，用户可在华东1（杭州）可用区E和华北2（北京）可用D开通实例。公测期间仅支持这在 这两个可用区开通混合存储系列实例，其他地域及可用区暂不支持。 公测开通规格 公测期间仅开放32G内存64G磁盘及64G磁盘128G内存两款主从版本规格供用户选用，用户可任选一 款规格免费试用两个月。 公测期间仅支持预付费模式的混合存储系列实例，按量付费暂不支持。 Redis 4.0 新功能介绍 Redis 4.0 之前，redis 执行 del 命令会在释放掉 key 的所有内存以后才会返回 OK。如果 key 比较大（比 如说一个 hash 里有1000万条数据），其他连接可能要等待很久。为了兼容已有的 del 语义，Redis 4.0 引入 unlink 命令，效果以及用法和 del 完全一样，但内存释放动作放到后台线程中执行。 flushdb/flushall flushdb/flushall

4 索引和切片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 2.1.5 节省内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2.1.6 转换为其他Python对象 计算机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517 12.4.2 内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517 12.4.3 存储器 org/wiki/Alan_Turing 22 https://en.wikipedia.org/wiki/Donald_O._Hebb 1.5. 深度学习的发展 33 表1.5.1: 数据集vs计算机内存和计算能力 年代 数据规模 内存 每秒浮点运算 1970 100 （鸢尾花卉） 1 KB 100 KF (Intel 8080) 1980 1 K （波士顿房价） 100 KB 1 MF (Intel 80186)

系统支持多设备，应用一次开发覆盖全场景。 openEuler 对 Linux Kernel 的持续贡献 openEuler 内核研发团队持续贡献 Linux Kernel 上游社区，回馈主要集中在：芯片架构、ACPI、内存管理、文件系统、 Media、内核文档、针对整个内核质量加固的 bug fix 及代码重构等内容。十余年来总计向社区贡献 17000+ 补丁。 在 Linux Kernel 5.10 和 5.14 社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 还在内核方向实现内核热升级、内存 分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景支持。 抖动抑制，创新业务优先级 OOM 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间，提 升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能优于内 核态 swap。 • 内存 RAS 增强：内存可靠性分级技术，可以指定

存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网 网 网络 络 络：支持网络压缩功能，并基于负载均衡的思想实现了良好的分布式网络分发机制，最大化降 低带宽开销。 1.4 性 性 性能 能 能 为提升系统性能，FISCO BCOS从提升交易执行效率和并发两个方面优化了交易执行，使得交易处理性 能达到万级以上。 • 基 基 基于 于 于C++的 的 数据格式和通信协议的版本：通过配置文件 config.ini的supported_version配置项 获取 2.2.1 v2.7.2 变 变 变更 更 更描 描 描述 述 述 • 修复国密环境内存泄露问题 2.2.2 v2.7.1 变 变 变更 更 更描 描 描述 述 述 更 更 更改 改 改 • 完善fisco-sync工具，实现新节点加入群组时从数据仓库拉取指定块高快照数据的功能 源码编译要求GCC版本不小于5.4.0 • 支持AMOP消息路由到节点自身 • MySQL存储模式下区块等数据使用二进制存储并启动压缩 修 修 修复 复 复 • 修复因为交易广播标记缓存没有清理干净导致的轻微内存泄露问题 • 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 • 在MySQL存储模式下，Solidity合约写接口中调用Table的select接口时，偶现的Gas计算不一致问题

SQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网络：支持网络压缩功能，并基于负载均衡的思想实现了良好的分布式网络分发机制，最大化降 低带宽开销。 1.4 性能 为提升系统性能，FISCO BCOS从提升交易执行效率和并发两个方面优化了交易执行，使得交易处理性 能达到万级以上。 • 基于C++的Precompiled合约：区块链底 0)，硬件加密版（2.8.0-hsm），这两个版本均 与2.7.0等以前的版本兼容。 2.8.0和2.8.0-hsm向前兼容，旧版本可以直接替换程序升级 2.2.3 v2.7.2 变更描述 • 修复国密环境内存泄露问题 2.2. 更多版本 11 FISCO BCOS Documentation, 发布 v2.9.0 2.2.4 v2.7.1 变更描述 更改 • 完善fisco-sync工具，实 源码编译要求GCC版本不小于5.4.0 • 支持AMOP消息路由到节点自身 • MySQL存储模式下区块等数据使用二进制存储并启动压缩 修复 • 修复因为交易广播标记缓存没有清理干净导致的轻微内存泄露问题 • 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 • 在MySQL存储模式下，Solidity合约写接口中调用Table的select接口时，偶现的Gas计算不一致问题

SQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网络：支持网络压缩功能，并基于负载均衡的思想实现了良好的分布式网络分发机制，最大化降 低带宽开销。 1.4 性能 为提升系统性能，FISCO BCOS从提升交易执行效率和并发两个方面优化了交易执行，使得交易处理性 能达到万级以上。 • 基于C++的Precompiled合约：区块链底 0)，硬件加密版（2.8.0-hsm），这两个版本均 与2.7.0等以前的版本兼容。 2.8.0和2.8.0-hsm向前兼容，旧版本可以直接替换程序升级 2.2.3 v2.7.2 变更描述 • 修复国密环境内存泄露问题 2.2. 更多版本 11 FISCO BCOS Documentation, 发布 v2.9.0 2.2.4 v2.7.1 变更描述 更改 • 完善fisco-sync工具，实 源码编译要求GCC版本不小于5.4.0 • 支持AMOP消息路由到节点自身 • MySQL存储模式下区块等数据使用二进制存储并启动压缩 修复 • 修复因为交易广播标记缓存没有清理干净导致的轻微内存泄露问题 • 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 • 在MySQL存储模式下，Solidity合约写接口中调用Table的select接口时，偶现的Gas计算不一致问题

SQL等多种后端存储，支持 数据简便快速扩容的同时，将计算与数据隔离，降低了节点故障对节点数据的影响。 • 网络：支持网络压缩功能，并基于负载均衡的思想实现了良好的分布式网络分发机制，最大化降 低带宽开销。 1.4 性能 为提升系统性能，FISCO BCOS从提升交易执行效率和并发两个方面优化了交易执行，使得交易处理性 能达到万级以上。 • 基于C++的Precompiled合约：区块链底 0)，硬件加密版（2.8.0-hsm），这两个版本均 与2.7.0等以前的版本兼容。 2.8.0和2.8.0-hsm向前兼容，旧版本可以直接替换程序升级 2.2.3 v2.7.2 变更描述 • 修复国密环境内存泄露问题 2.2. 更多版本 11 FISCO BCOS Documentation, 发布 v2.9.0 2.2.4 v2.7.1 变更描述 更改 • 完善fisco-sync工具，实 源码编译要求GCC版本不小于5.4.0 • 支持AMOP消息路由到节点自身 • MySQL存储模式下区块等数据使用二进制存储并启动压缩 修复 • 修复因为交易广播标记缓存没有清理干净导致的轻微内存泄露问题 • 修复raft共识下，非leader节点交易池中的交易不能被打包的问题 • 在MySQL存储模式下，Solidity合约写接口中调用Table的select接口时，偶现的Gas计算不一致问题