业务性能优化概览 By Xargin 《Go 语⾔⾼级编程》合著者 Go contributor ⽬ 录 优化的前置知识 01 ⽣产环境的优化 02 Continuous profiling 03 优化的前置知识 第⼀部分 Latency numbers every programmer should know https://colin-scott.github.io/p html 优化的前置知识 • 要能读得懂基本的调⽤栈 • 了解 Go 语⾔内部原理(runtime，常⽤标准库) • 了解常⻅的⽹络协议(http、pb) https://github.com/bagder/http2-explained https://github.com/bagder/http3-explained 逃逸分析 ⽤户声明的对象，被放在栈上还是堆上， 是由编译器的 escape escape analysis 来决定的 ⽅法论 内存使⽤优化 CPU 使⽤优化 阻塞优化 GC 优化 标准库优化 runtime 优化 应⽤层优化 底层优化 • 越靠近应⽤层，优化带来的效果越好 • 涉及到底层优化的，⼤多数情况下还是修改应⽤代码 逻辑优化 ⽣产环境的优化 第⼆部分 ⾸先，是发现问题 API 压测 全链路压测 ⽣产环境被 ⾼峰流量打爆了 进 pprof

IPC性能极致优化方案-RPAL落地实践 谢正尧 字节跳动 研发工程师 目 录 方案诞生的背景 01 全进程地址空间共享与保护 02 用户态进程切换 03 高效的Go Event Poller 04 RPC框架Kitex集成 05 性能收益与业务展望 06 方案诞生的背景 第一部分 方案诞生的背景 几种常见的同机通信场景： 1. 微服务合并部署（亲和性部署、sidecar 的页表项的第59-62位称为 Protection Key，这 4 bits 可以将页表 项划分为 16 个域，从而可以给每一个域单独赋予一个权限； 2. Intel x86 为每个线程提供了一个寄存器 PKRU (User Page Key Register)，其长度为 32 bits，每 2-bit 对应页表中的一个 Protection Key，分别为 WD 位和 AD 位，用于控制所在域的内存访问权限。 Entry 时，sender 线程将 pt_regs（保存 Kernel 返回到用户态的 上下文信息）压入 sender 线程内核栈 用户态进程切换 延迟进程切换 2. 判断 fsbase 寄存器保存的地址是否 在 kernel current task 的 512GB 地址 空间内？ > 若不是，代表当前在RPAL Call， 将 pt_regs 拷贝并覆盖掉之前处于 epoll_wait

cgo 原理解析及优化实践 朱德江 蚂蚁集团 MOSN 核心成员 Golang contributor Envoy Golang extension maintainer 公众号 • 开源爱好者 • 十余年网关研发 • OpenResty 老司机（NGINX + LuaJIT） • MOSN 核心成员 • Envoy Golang extension maintainer • • 玩过 DSL 编译器 • 对 LuaJIT、Go 有一些研究 目 录 背景介绍 01 cgo 工作机制 02 cgo 调度机制 03 CPU 优化 04 GC 优化 05 背景介绍 第一部分 网关发展历史 网关的扩展机制 什么是 MoE 举个例子 为什么需要 MoE Envoy  研发效能  良好的生态，上手门槛低  Wasm？Lua？ Golang 数据交互 抽象模型 1 2 3  对 PC 寄存器的修改  编译器完成地址指引  函数调用规约  Go 1.17  数据结构/类型  内存对象生命周期  GMP cgo 编译的两个阶段 cgo 预编译 常规编译 1 2  生成 wrapper 代码  屏蔽 GMP 模型  底层调用 C 编译器  链接器通过符号寻址 cgo 预编译 - C 调用 Go

用Go语言实现推送服务器 陈叶皓 chen.yh@ctrip.com 议程 • 推送服务器介绍 • Golang特点 • 推送服务架构 • 部分代码 • 上线效果 议程 • 推送服务器介绍 • 推送服务架构 • 部分代码 • 上线效果 什么是推送服务器 • 推送业务信息到手机端 • 始终保持连接 推送服务器要求 • 高并发 • 可靠性 • 高性能 • 支持水平扩展 • 无单点故障 无单点故障 Go语言特性 • 静态的、编译的 • 自动内存回收 • 命令式编程 • 函数可以作为值 • 面向并发 • 内置RPC支持 推送服务器要求的应对 • 高并发 – goroutine • 可靠性 – 使用Redis暂存消息 • 高性能 – 静态编译语言 • 支持水平扩展 – 使用RPC组成集群 • 无单点故障 – 使用Redis实现数据共享 Go语言的并发模型 • 事件驱动，共享线程池 含一 个获取返回值的channel 议程 • 推送服务器介绍 • 推送服务架构 • 部分代码 • 上线效果 逻辑架构 去中心化设计 • 客户端随机连接 • Redis集中存储地址表 • 信息发送2跳到达 消息缓存设计 • 消息预存（Redis） • 尝试发送 • 发送成功后删除 客户端注册时序图 议程 • 推送服务器介绍 • 推送服务架构 • 部分代码 • 上线效果 串行场景-Socket

Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 分布式部署，解决海量数据的传输、加载 数据全量加载时，缓解数据库压力 链路优化 优化 协议 编码 空值剔除 数据存储、数据传输 带宽减少40% 2GB -> 1.2GB MaxwellConsumer 03. 通过golang接口的方式，实现业务与框架代码分离 DataManager 04. 工程化的通用数据管理器，提供正排、倒排等丰富的查询模式 数据存储 倒排更新过程 

微反直觉，甚至自 相矛盾。 Go语法和语义设计中有很多折衷和权衡。一个Go程序员需要相当的 Go编程经验和感悟才能理解这些权衡。 Go提供了几种基本但非必需的类型，比如切片，接口和通道。 Go编译器和运 行时在实现这些类型的时候，进行了必要的封装。 一方面，这些封装为Go编程 带来了许多便利，使我们不用从头实现这些类型。 但另一方面，这些封装隐藏 了这些类型的内部结构， 从而对我们更深入地理解这些类型的值的行为带来了 解这些 类型的值。 我认为知道一些可能的底层实现对于清除某些Go编程中的困惑 非常有帮助。 3. 详细地解释了内存块（memory block）。 了解Go值和内存块之间的关系对 于理解垃圾收集器是如何工作的以及如何避免内存泄漏非常有帮助。 4. 将接口值视为用于包裹非接口值的盒子。 我发现将接口值视为用于包裹非 接口值的盒子对于清除很多和接口相关的困惑非常有帮助。 5. 澄清了Go白皮 它语言编程经验的程序员来说，读懂一份Go源码也不是一件难事。 目前，使用最广泛的Go编译器由Go官方设计和开发团队维护。 以后我们将称 此编译器为标准编译器。标准编译器也常常称为gc（是Go compiler的缩写，不 是垃圾回收garbage collection的缩写）。 Go官方设计和开发团队也维护着另外 一个编译器，gccgo。 gccgo是gcc编译器项目的一个子项目。 gccgo的使用广泛 度大不如gc， 它的

微反直觉，甚至 自相矛盾。 Go语法和语义设计中有很多折衷和权衡。一个Go程序员需要相当 的Go编程经验和感悟才能理解这些权衡。 Go提供了几种基本但非必需的类型，比如切片，接口和通道。 Go编译器和运 行时在实现这些类型的时候，进行了必要的封装。 一方面，这些封装为Go编 程带来了许多便利，使我们不用从头实现这些类型。 但另一方面，这些封装 隐藏了这些类型的内部结构， 从而对我们更深入地理解这些类型的值的行为 解 这些类型的值。 我认为知道一些可能的底层实现对于清除某些Go编程中 的困惑非常有帮助。 3. 详细地解释了内存块（memory block）。 了解Go值和内存块之间的关系 对于理解垃圾收集器是如何工作的以及如何避免内存泄漏非常有帮助。 4. 将接口值视为用于包裹非接口值的盒子。 我发现将接口值视为用于包裹 非接口值的盒子对于清除很多和接口相关的困惑非常有帮助。 5. 澄清了Go白皮 它语言编程经验的程序员来说，读懂一份Go源码也不是一件难事。 目前，使用最广泛的Go编译器由Go官方设计和开发团队维护。 以后我们将称 此编译器为标准编译器。标准编译器也常常称为gc（是Go compiler的缩写， 不是垃圾回收garbage collection的缩写）。 Go官方设计和开发团队也维护着另 外一个编译器，gccgo。 gccgo是gcc编译器项目的一个子项目。 gccgo的使用 广泛度大不如gc， 它

反直觉，甚至自相矛盾。 Go 语法和语义设计中有很多折衷和权衡。一个Go程序员需要相当的Go编程经验和感悟 才能理解这些权衡。 Go提供了几种基本但非必需的类型，比如切片，接口和通道。 Go编译器和运行时在 实现这些类型的时候，进行了必要的封装。 一方面，这些封装为Go编程带来了许多 便利，使我们不用从头实现这些类型。 但另一方面，这些封装隐藏了这些类型的内 部结构， 从而对我们更深入地理解这些类型的值的行为带来了一些障碍。 这些类型 的值。 我认为知道一些可能的底层实现对于清除某些Go编程中的困惑非常有 帮助。 3. 详细地解释了内存块（memory block）。 了解Go值和内存块之间的关系对于 理解垃圾收集器是如何工作的以及如何避免内存泄漏非常有帮助。 4. 将接口值视为用于包裹非接口值的盒子。 我发现将接口值视为用于包裹非接 口值的盒子对于清除很多和接口相关的困惑非常有帮助。 5. 澄清了Go白皮 验的程序员来说，读懂一份Go源码也不是一件难事。 目前，使用最广泛的Go编译器由Go官方设计和开发团队维护。 以后我们将称此编译 器为标准编译器。标准编译器也常常称为gc（是Go compiler的缩写，不是垃圾回 收garbage collection的缩写）。 Go官方设计和开发团队也维护着另外一个编译 器，gccgo。 gccgo是gcc编译器项目的一个子项目。 gccgo的使用广泛度大不 如gc，

10.3 二分查找边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 10.4 哈希优化策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 10.5 重识搜索算法 . . . 时间效率：算法运行速度的快慢。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 这样，我们才能将各种算法进行对比，进而指导算法设计与优化过程。 效率评估方法主要分为两种：实际测试、理论估算。 2.1.1 实际测试 假设我们现在有算法 A 和算法 B ，它们都能解决同一问题，现在需要对比这两个算法的效率。最直接的方法 是找一台 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能。比如在某台计算机中，算法 A 的运行 时间比算法 B 短；但在另一台配置不同的计算机中，可能得到相反的测试结果。这意味着我们需要在各种机 器上进行测试，统计平均效率，而这是不现实的。 另一方面，展开完整测试非常耗费资源。随着输入数据量的变化，算法会表现出不同的效率。例如，在输入 数据量较小时，算法 A 的运行时间比算法 B 短；而在输

10.3 二分查找边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218 10.4 哈希优化策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220 10.5 重识搜索算法 . . . 时间效率：算法运行速度的快慢。 ‧ 空间效率：算法占用内存空间的大小。 简而言之，我们的目标是设计“既快又省”的数据结构与算法。而有效地评估算法效率至关重要，因为只有 这样，我们才能将各种算法进行对比，进而指导算法设计与优化过程。 效率评估方法主要分为两种：实际测试、理论估算。 2.1.1 实际测试 假设我们现在有算法 A 和算法 B ，它们都能解决同一问题，现在需要对比这两个算法的效率。最直接的方法 是找一台 一方面，难以排除测试环境的干扰因素。硬件配置会影响算法的性能。比如在某台计算机中，算法 A 的运行 时间比算法 B 短；但在另一台配置不同的计算机中，可能得到相反的测试结果。这意味着我们需要在各种机 器上进行测试，统计平均效率，而这是不现实的。 另一方面，展开完整测试非常耗费资源。随着输入数据量的变化，算法会表现出不同的效率。例如，在输入 数据量较小时，算法 A 的运行时间比算法 B 短；而在输