Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存如何保证更新，如何与数据库同步 同步、更新  被动方式  缓存过期  定期同步  主动方式  监听数据变化 数据加载，更新 储 MemoryTile序列化性能提升超2倍 MemoryTile反序列化性能提升近10倍 基于MemoryTile的映射，特殊场景反序列化性能提升近600倍 主动式内存缓存框架 第三部分 技术全景图 01. 主动式内存缓存架构的技术全景图 数据中心、数据源 02. 分布式部署，解决海量数据的传输、加载 数据全量加载时，缓解数据库压力 链路优化 优化 协议 编码 空值剔除

CentOS 内，我们已经有 yum 来进行在线更新了，你当然可以自己利用更改配置文件来指定 yum 要去查询的映像 站 (mirror site)，不过这里鸟哥建议使用预设的设定值即可，因为系统会主动的判断较近的映像站 (虽然常常会 误判)， 不需要人工微调啦！ 例题-利用 yum 进行系统更新假设你的网络已经通了，目前你想要处理全系统更新，同时需要每天凌晨 2:15 自动 进行全系统更新，该如何作？答：全系统更新使用 (http://ftp.ksu.edu.tw/) 是个文件服务器 等等。 工作站 (workstation) 或客户端 (client)：任何可以在计算机网络输入的设备都可以是工作站， 若以联 机发起的方向来说，主动发起联机去『要求』数据的，就可以称为是客户端 (client)。举例来说，一般 PC 打开浏览器对 Yahoo 要求新闻数据，那一般 PC 就是客户端。 网络卡 (Network Interface 有 64bytes ，那再扣 除目的地址、来源地址、检查码 (前导码不算) 后， 就可得到数据量最小得要有 46bytes 了！也就是说，如果妳 要传输的数据小于 46byes ，那我们的系统会主动的填上一些填充码， 以补齐至少 46bytes 的容量才行！ 通过上面 MAC 封装的定义，现在我们知道标准以太网络讯框所能传送的数据量最大可以到达 1500 bytes ， 这个 数值就被我们称为

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 591 2 agent（主动模式）自动注册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1890 7 使用主动检查监控网络流量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 虚拟机监控 提供了配置 VMware 环境监控的方法。 维护 ，正则表达式，事件确认 和XML 导入/导出 部分进一步说明如何使用 Zabbix 软件的各个方面。 发现 包含有关设置网络设备、主动模式的 agent（自动注册）、文件系统、网络接口等的自动发现的说明。 分布式监控 介绍在更大、更复杂的环境中使用 Zabbix 的可能性。 加密 帮助解释加密 Zabbix 组件之间的通信的可行性。

响应服务端连接重置消息进行连接切换。  选址/服务发现。 服务端  连接生命周期实时感知能力，包括连接建立，连接断开事件。  服务端往客户端主动进行数据推送，需要客户端进行 Ack 返回以支持可靠推送,并且需要进行失 败重试。  服务端主动推送负载调节能力。 2. 性能要求 性能方面，需要能够满足阿里的生产环境可用性要求，能够支持百万级的长链接规模及请求量和推 送量，并且要保证足够稳定。 并且能够感知底层连接切换事件，重置上下文；服务端需要在客户端断开连接时剔除客户端连接 对应的上下文，包括配置监听，服务订阅上下文，并且处理客户端连接对应的实例上下线。 ○ 客户端正常重启：客户端主动关闭连接，服务端实时感知 ○ 服务端正常重启 : 服务端主动关闭连接，客户端实时感知  防抖： ○ 网络短暂不可用: 客户端需要能接受短暂网络抖动，需要⼀定重试机制，防止集群抖动，超过 阈值后需要自动切换 server，但要防止请求风暴。 相应的返回结果，并做好重试机 制和线程池的管理。这与客户端探测，只需要等待心跳，然后刷新 TTL 是不⼀样的。同时服务端健 康检查无法摘除不健康实例，这意味着只要注册过的服务实例，如果不调用接口主动注销，这些服 务实例都需要去维持健康检查的探测任务，而客户端则可以随时摘除不健康实例，减轻服务端的压 力。 图 8 Nacos 的健康检查 Nacos 既支持客户端的健康检查，也支持服务端的

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616 2 agent（主动模式）自动注册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 虚拟机监控 提供了配置 VMware 环境监控的方法。 维护 ，正则表达式，事件确认 和XML 导入/导出 部分进一步说明如何使用 Zabbix 软件的各个方面。 发现 包含有关设置网络设备、主动模式的 agent（自动注册）、文件系统、网络接口等的自动发现的说明。 分布式监控 介绍在更大、更复杂的环境中使用 Zabbix 的可能性。 加密 帮助解释加密 Zabbix 组件之间的通信的可行性。 收集性能和可用性数据。proxy 是 Zabbix 部署的可选部分；但是对于分散单个 Zabbix server 的 负载非常有用。 Agent Zabbix agent 部署在被监控目标上，以主动监控本地资源和应用程序，并将收集到的数据报告给 Zabbix server。从 Zabbix 4.4 开始， 有两种类型的 agent 可用：Zabbix agent （轻量级，在许多平台上支持，用

书栈(BookStack.CN) 构建 16.4. 14.4 重点回顾 16.5. 14.5 本章习题 16.6. 14.6 参考资料与延伸阅读 学习了基础篇也一阵子了，你会发现到为什么系统常常会主动的进行一些任务？ 这些任务到底是谁在设置工作的？ 如果你想要让自己设计的备份程序可以自动的在系统下面执行，…..2015/07/31 17.1. 15.1 什么是例行性工作调度 17.2. 15 参考上述两张图示来印证喔！ 如同华硕主板示意图上半部的中央部分，那就是CPU插槽。 由于CPU负责大量运算，因此CPU通常是具有相当高发热 量的元件。所以如果你曾经拆开过主板， 应该就会看到CPU上头通常会安插一颗风扇来主动散热的。 x86个人电脑的CPU主要供应商为Intel与AMD，目前（2015）主流的CPU都是双核以上的架构了！ 原本的单核心 CPU仅有一个运算单元，所谓的多核心则是在一颗CPU封装当中嵌入了两个以上的运算核心， CPU 频率的习惯，当使用 cpu-z [9] 这个软件时，应该会很惊 讶的发现到，怎么外频变成 100MHz 而倍频可以到达 30 以上！相当有趣呢！ Tips 现在 Intel 的 CPU 会主动帮你超频喔！例如 i7-4790 这颗 CPU 的规格 [10] 中，基本频率为 3.6GHz，但是最高可自动超频到 4GHz 喔！ 通过的是 Intel 的 turbo 技术。同时，如果你没有大量的运算需

相关指令汇整与 LVM 的关闭 14.4 重点回顾 14.5 本章习题 14.6 参考资料与延伸阅读 第十五章 例行性工作调度 （crontab） 学习了基础篇也一阵子了，你会发现到为什么系统常常会主动的进行一些任务？ 这些任务到 底是谁在设置工作的？ 如果你想要让自己设计的备份程序可以自动的在系统下面执 行，.....2015/07/31 15.1 什么是例行性工作调度 15.1.1 Linux 如同华硕主板示意图上半部的中央部分，那就是CPU插槽。 由于CPU负责大量运算，因此 CPU通常是具有相当高发热量的元件。所以如果你曾经拆开过主板， 应该就会看到CPU上头 通常会安插一颗风扇来主动散热的。 x86个人电脑的CPU主要供应商为Intel与AMD，目前（2015）主流的CPU都是双核以上的架 构了！ 原本的单核心CPU仅有一个运算单元，所谓的多核心则是在一颗CPU封装当中嵌入了 100MHz 而倍频可以到 达 30 以上！相当有趣呢！ 鸟哥的 Linux 私房菜：基础学习篇 第四版 44 0.2 个人电脑架构与相关设备元件 Tips 现在 Intel 的 CPU 会主动帮你超频喔！例如 i7-4790 这颗 CPU 的规格 [10] 中，基本频 率为 3.6GHz，但是最高可自动超频到 4GHz 喔！ 通过的是 Intel 的 turbo 技术。同时，如果 你没有大量的运算需求，该

共享内存大小，用于存储主机 和监控项数据 Zabbix 2.2.3 的最大值为 2GB ConfigFrequency no 1-604800 3600 proxyg 从 server 端检索配置 数据的频率，单位秒。 主动 proxy 参数，被动 proxies 忽略此项 (参看 ProxyMode 参 数)。 DBHost no localhost 数据库主机名。 如果是 localhost 或空字符串会 使用 socket，如果是 数. DBUser 数据库用户名. SQLite 可不需 要. DataSenderFrequency no 1-3600 1 Proxy 每 N 秒向 server 端发送 一次采集到的数据. 主动 proxy 参数，被动 proxies 忽略此项 (参看 ProxyMode 参 数)。 DebugLevel no 0-5 3 指定调试等级: 0 - Zabxxi 进程起停的基本信息 1 的宿主是 root 用 户，并且设置了 SUID!! HeartbeatFrequency no 0-3600 60 心跳消息的频率，单位秒 用于监视服务器端代理的可用 性。 0 - 禁用心跳消息 主动 proxy 参数，被动 proxies 忽略此参数 (参见 ProxyMode 参数). 56 Parameter Mandatory Range Default Description HistoryCacheSize

无损 (MySQL 5.7) •同步 – 仅 MySQL Cluster 提供 – 串行：主数据库等待更 改应用于所有从数据 库后，再向应用程序 发送确认 • 较长的延迟 • 如果采用主动/主动模式， 则最适合小型事务处理 • 无损 异步复制与同步复制 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 11 MySQL Enterprise Mgr Cluster Mgr •在 MySQL Cluster 之间异步复制 •主动-主动 – 随处更新 – 冲突检测 • 通过异常表通知应用程序 • 可以选择自动解决冲突 – 自动解决冲突 • 冲突的事务和独立的事务会被回滚 •不会对应用程序方案进行更改 4/16/2017 30 主动-主动异地复制 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 MySQL

supported since Zabbix 2.2.0. StartTrappers 否 -1000 rapper 进程的初始实 例数量。 Trapper 接收来自 Zabbix 发送者、主动 agent 和主动 proxies 的数据。 至少要运行一个 trapper 进程用于在 web 前端展示服务器可 用性和队列视图。 在 Zabbix 1.8.5 版本 之前，最大能设置为 255。 2GB before Zabbix 2.2.3. ConfigFrequency 否 -604800 600 隔多少秒 proxy 从 Zabbix server 获取配 置数据。 该参数只有主动 proxy 才会使用，proxy 工作 模式由参数 ProxyMode 决定。 ConfigFrequency no 1-604800 3600 How often proxy retrieves Ignored for SQLite. DataSenderFrequency 否 -3600 roxy 将采集到的数据 以一定的时间间隔（单 位为秒）发送给 Zabbix server。 该参数只有主动 proxy 才会使用，proxy 工作 模式由参数 ProxyMode 决定。 DataSenderFrequency no 1-3600 1 Proxy will send collected