Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 • 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存如何保证更新，如何与数据库同步 同步、更新  被动方式  缓存过期  定期同步  主动方式  监听数据变化 数据加载，更新 热数据的交换 冷 热 新 系 统 历 史 数 据 冷数据、数据量多 缓存成本大、命中低、收益小 热 数 据 当前系统中的热点数据 命中率高 系 统 新 增 数 据 近期新增数据，较大概率命中 存储空间 缓存性能 冷热可交换，引擎可扩展 06. 冷热数据交换，通过栈式缓存结构，实现多级缓存策略 语言的局限性 07. 基于golang语言，内存对象超过百万量级后出现的GC耗时问题

LOGO p2p缓存系统 基于Golang的Aop设计模式 龚浩华 QQ 29185807 月牙寂 背景 v Web缓存（类似CDN技术） § 网页、图片 § 普通下载 § 普通视频 v P2P缓存 § 下载（bt等） § 视频（qvod、百度影音等） 背景 v P2P缓存好处 § 一次获取，多次利用 § 减少局域网出网流量 减少局域网出网流量 § 提升用户体验 背景 v P2P缓存服务器（基于c++开发） § 代码量大 § 协议数量多 § 耦合性高 § 潜在bug多 重构 or 重新推倒？ 背景 现实世界是怎么样的 分布式、并发 职能化、松散化 自组织、智能化 程序框架是否也可以这样？ OOP v C++对象代码运行 C++对象代码运行 § 有属性（成员变量）、有行为（成员函数） 没有可以独立执行的机制 § 有属性（成员变量）、有行为（成员函数） 还有独立执行的活动（有自己独立的线程） § 有属性（成员变量）、有行为（成员函数） 借助其他线程运行 AOP AOP （agent-oriented programming） Agent：智能体、职能代理。源于分布式人

3 列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.4 内存与缓存 * . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.5 小结 . . . . . 如果感觉以下内容理解困难，可以在读完“栈”章节后再来复习。 那么，迭代和递归具有什么内在联系呢？以上述递归函数为例，求和操作在递归的“归”阶段进行。这意味 着最初被调用的函数实际上是最后完成其求和操作的，这种工作机制与栈的“先入后出”原则异曲同工。 事实上，“调用栈”和“栈帧空间”这类递归术语已经暗示了递归与栈之间的密切关系。 1. 递：当函数被调用时，系统会在“调用栈”上为该函数分配新的栈帧，用于存储函数的局部变量、参数、 编号，确保每个内存空间都有唯一的内存地址。有了这些地址，程序便可以访问内存中的数据。 图 3‑2 内存条、内存空间、内存地址 � 值得说明的是，将内存比作 Excel 表格是一个简化的类比，实际内存的工作机制比较复杂，涉 及地址空间、内存管理、缓存机制、虚拟内存和物理内存等概念。 内存是所有程序的共享资源，当某块内存被某个程序占用时，则无法被其他程序同时使用了。因此在数据结 构与算法的设计中，内存资源是一个重要的考虑因素

3 列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.4 内存与缓存 * . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.5 小结 . . . . . 如果感觉以下内容理解困难，可以在读完“栈”章节后再来复习。 那么，迭代和递归具有什么内在联系呢？以上述递归函数为例，求和操作在递归的“归”阶段进行。这意味 着最初被调用的函数实际上是最后完成其求和操作的，这种工作机制与栈的“先入后出”原则异曲同工。 事实上，“调用栈”和“栈帧空间”这类递归术语已经暗示了递归与栈之间的密切关系。 1. 递：当函数被调用时，系统会在“调用栈”上为该函数分配新的栈帧，用于存储函数的局部变量、参数、 。有了这些地址，程序便可以访问内存中的数据。 图 3‑2 内存条、内存空间、内存地址 Tip 值得说明的是，将内存比作 Excel 表格是一个简化的类比，实际内存的工作机制比较复杂，涉及地址 空间、内存管理、缓存机制、虚拟内存和物理内存等概念。 内存是所有程序的共享资源，当某块内存被某个程序占用时，则无法被其他程序同时使用了。因此在数据结 构与算法的设计中，内存资源是一个重要的考虑因素

3 列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.4 内存与缓存 * . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.5 小结 . . . . . 如果感觉以下内容理解困难，可以在读完“栈”章节后再来复习。 那么，迭代和递归具有什么内在联系呢？以上述递归函数为例，求和操作在递归的“归”阶段进行。这意味 着最初被调用的函数实际上是最后完成其求和操作的，这种工作机制与栈的“先入后出”原则异曲同工。 事实上，“调用栈”和“栈帧空间”这类递归术语已经暗示了递归与栈之间的密切关系。 1. 递：当函数被调用时，系统会在“调用栈”上为该函数分配新的栈帧，用于存储函数的局部变量、参数、 。有了这些地址，程序便可以访问内存中的数据。 图 3‑2 内存条、内存空间、内存地址 Tip 值得说明的是，将内存比作 Excel 表格是一个简化的类比，实际内存的工作机制比较复杂，涉及地址 空间、内存管理、缓存机制、虚拟内存和物理内存等概念。 内存是所有程序的共享资源，当某块内存被某个程序占用时，则通常无法被其他程序同时使用了。因此在数 据结构与算法的设计中，内存资源是一个重要的考虑

游刃有余，动态类型语言的开发效率，以及静态类型的安全性。它也打 算成为现代的，支持网络与多核计算的语言。要满足这些目标，需要解决一些语言上的问题：一个富有表达能力但轻 量级的类型系统，并发与垃圾回收机制，严格的依赖规范等等。这些无法通过库或工具解决好，因此Go也就应运而生 了。 在本章中，我们将讲述Go的安装方法，以及如何配置项目信息。 目录 目录 links links 目录 参数值传递的 话, 在每次copy上面就会花费相对较多的系统开销（内存和时间）。所以当你要传递大的结构体的时候，用 指针是一个明智的选择。 Go语言中string，slice，map这三种类型的实现机制类似指针，所以可以直接传递，而不用取地址后传递 指针。（注：若函数需改变slice的长度，则仍需要取地址传递指针） defer defer Go语言中有种不错的设计，即延迟（defer）语句 一样的，但是我们可以实现很多种的逻辑，这样使得我 们的程序变得非常的灵活。 Panic和Recover Panic和Recover Go没有像Java那样的异常机制，它不能抛出异常，而是使用了panic和recover机制。一定要记住，你应当把它作为 最后的手段来使用，也就是说，你的代码中应当没有，或者很少有panic的东西。这是个强大的工具，请明智地使用 它。那么，我们应该如何使用它呢？

言的函数式和面向对象编程进行透彻的讲解，包括如何使用 Go 语言来构造大型项目（第 9 章）。 在本书的第三部分，你将会学习到如何处理不同格式的文件（第 12 章）和如何在 Go 语言中巧妙地使用 错误处理机制（第 13 章）。然后我们会对 Go 语言中最值得称赞的设计 goroutine 和 channel 进行并发 和多核应用的基本技巧的讲解（第 14 章）。最后，我们会讨论如何将 Go 语言应用到分布式和 CSP（通信序列进程 Communicating Squential Processes）理 论影响的 Limbo 和 Newsqueak 的实践中借鉴了一些经验，并使用了和 Erlang 类似的机制。 这是一门完全开源的编程语言，因为它使用 BSD 授权许可，所以任何人都可以进行商业软件的开发而不需 要支付任何费用。 尽管为了能够让目前主流的开发者们能够对 Go 语言中的类 C 语言的语法感到非常亲切而易于转型，但是 关系而使得构建一个大型的项目需要长达几个小时的时间。人们越来越需要一门具有严格的、简洁的依赖 关系分析系统从而能够快速编译的编程语言。这正是 Go 语言采用包模型的根本原因，这个模型通过严格 的依赖关系检查机制来加快程序构建的速度，提供了非常好的可量测性。 整个 Go 语言标准库的编译时间一般都在 20 秒以内，其它的常规项目也只需要半秒钟的时间来完成编译 工作。这种闪电般的编译速度甚至比编译 C 语言或者

和追踪 6.5 内置函数 6.6 递归函数 6.7 将函数作为参数 6.8 闭包 6.9 应用闭包：将函数作为返回值 6.10 使用闭包调试 6.11 计算函数执行时间 6.12 通过内存缓存来提升性能 第7章：数组与切片 7.1 声明和初始化 7.2 切片 7.3 For-range 结构 7.4 切片重组（reslice） 7.5 切片的复制与追加 7.6 字符串、数组和切片的应用 的 CSP（通信序列进程 Communicating Squential Processes）理论影响的 Limbo 和 Newsqueak 的实践中借鉴了一些经验，并使用了和 Erlang 类似的机制。 这是一门完全开源的编程语言，因为它使用 BSD 授权许可，所以任何人都可以进行商业软件的开发而不需要支付任 何费用。 尽管为了能够让目前主流的开发者们能够对 Go 语言中的类 C 语言的语法感到非常亲切而易于转型，但是它在极大 构建一个大型的项目需要长达几个小时的时间。人们越来越需要一门具有严格的、简洁的依赖关系分析系统从而能够 快速编译的编程语言。这正是 Go 语言采用包模型的根本原因，这个模型通过严格的依赖关系检查机制来加快程序构 建的速度，提供了非常好的可量测性。 整个 Go 语言标准库的编译时间一般都在 20 秒以内，其它的常规项目也只需要半秒钟的时间来完成编译工作。这种 闪电般的编译速度甚至比编译 C

。在本示例中，我们选择 10 作为初始容量。 ‧ 数量记录：需要声明一个变量 size ，用来记录列表当前有多少个元素，并随着元素插入与删除实时更 新。根据此变量，可以定位列表的尾部，以及判断是否需要扩容。 ‧ 扩容机制：插入元素有可能导致超出列表容量，此时需要扩容列表，方法是建立一个更大的数组来替换 当前数组。需要给定一个扩容倍数 extendRatio ，在本示例中，我们规定每次将数组扩容至之前的 2 倍。 索引越界") } l.nums[index] = num } /* 尾部添加元素 */ func (l *myList) add(num int) { // 元素数量超出容量时，触发扩容机制 if l.numsSize == l.numsCapacity { l.extendCapacity() } l.nums[l.numsSize] = num // 更新元素数量 l.numsSize++ insert(num, index int) { if index < 0 || index >= l.numsSize { panic(" 索引越界") } // 元素数量超出容量时，触发扩容机制 if l.numsSize == l.numsCapacity { l.extendCapacity() 4. 数组与链表 hello‑algo.com 59 } // 索引 i 以及之后的元素都向后移动一位

。在本示例中，我们选择 10 作为初始容量。 ‧ 数量记录：需要声明一个变量 size ，用来记录列表当前有多少个元素，并随着元素插入与删除实时更 新。根据此变量，可以定位列表的尾部，以及判断是否需要扩容。 ‧ 扩容机制：插入元素有可能导致超出列表容量，此时需要扩容列表，方法是建立一个更大的数组来替换 当前数组。需要给定一个扩容倍数 extendRatio ，在本示例中，我们规定每次将数组扩容至之前的 2 倍。 索引越界") } l.nums[index] = num } /* 尾部添加元素 */ func (l *myList) add(num int) { // 元素数量超出容量时，触发扩容机制 if l.numsSize == l.numsCapacity { l.extendCapacity() } l.nums[l.numsSize] = num // 更新元素数量 l.numsSize++ insert(num, index int) { if index < 0 || index >= l.numsSize { panic(" 索引越界") } // 元素数量超出容量时，触发扩容机制 if l.numsSize == l.numsCapacity { l.extendCapacity() 4. 数组与链表 hello‑algo.com 59 } // 索引 i 以及之后的元素都向后移动一位