字节跳动在 Go 网络库上的实践 何晨 字节跳动 基础架构 – 研发 应用层 Netpoll – 面向 RPC 场景的网络库 Go net Netpoll 网络层 RPC 框架 HTTP 框架 KiteX Hertz Netpoll – 性能表现 Environment CPU: 4 cores Memory: 8GB Go: 1.15.4 Netpoll

OpenKruise 实现大规模集群 镜像预热&部署发布加速实践 王思宇（酒祝） 阿里云容器服务 技术专家 OpenKruise author & maintainer 目 录 前言：OpenKruise 简介 01 为什么说人人都需要镜像预热 02 OpenKruise 是如何实现镜像预热的 03 如何通过镜像预热加速部署&发布 04 版本前瞻：原地升级与预热的结合 05 前言：OpenKruise timeoutSeconds: 300 imagepulljob controller NodeImage node1 NodeImage node2 NodeImage node3 整体预热流程 如何通过镜像预热加速部署&发布 第四部分 常见预热使用场景 apiVersion: apps.kruise.io/v1alpha1 kind: ImagePullJob metadata: name: base-image-job 的位置、资源都不发生 变化 • 节省了分配网络的耗时，Pod 还使用原有的 IP • 节省了分配、挂载远程盘的耗时，Pod 还使用原 有的 PV（且都是已经在 Node 上挂载好的） • 节省了大部分拉取镜像的耗时，因为 Node 上已 经存在了应用的旧镜像，当拉取新版本镜像时只 需要下载少数的几层 layer • 原地升级 Pod 中某个容器时，其他容器保持正 常运行，网络、存储均不受影响 对极致效率的追求

微服务合并部署（亲和性部署、sidecar 部署） 2. 本地基础组件：mesh sidecar、风控 sidecar、分布式网关... 方案诞生的背景 微服务化拆分： 1. 序列化 2. 网络开销 3. 服务治理 微服务合并部署 function call remote call 方案诞生的背景 微服务合并形态：sidecar 进程通信 方案诞生的背景 微服务合并形态：亲和性部署 go runtime 间进行函数调用？ 方案诞生的背景 基于以上问题，我们最终引入了 RPAL（Run Process As Library） 方案，基于跨进程虚拟地址 共享，复用 epoll 网络模型，实现了纯用户态的事件轮询和无拷贝的指针读写接口。 从性能瓶颈的两点分析： 1. 异步线程唤醒： 关键在于如何最低限度降低线程唤醒的开销，非必要不通知事件。 2. 数据序列化/反序列化 框架 Kitex 集成 使用深拷贝替代序列化/反序列化，两种方式： 1. 通过 RPC Method 进行类型断言（IDL 定义一致）； 2. 传递类型信息构造 reflection cache 加速深拷贝（IDL 定 义可以不一致） 性能收益与业务展望 第六部分 性能收益与业务展望 1 kb 请求/响应下，以不同 QPS 在 Kitex 框架进行 benchmark 测试，对比 uds

版权所有 ©2016-2021 ⼤�模⾼性能区��架构⾯�的�� 大规模高性能 区块链架构设计 网络连通问题 数据孤岛问题 异构部署问题 性能扩展问题 之困局 ？ n 机构间数据难打通，不愿打通 n 公网内网、网关网闸情况复杂 n 业务组织形式不同，异构链/系统难适配 n 数据量、网络复杂度指数上升，架构难扩展 16 趣链科技 版权所有 ©2016-2021 主链 节点 节点 锚节点 18 趣链科技 版权所有 ©2016-2021 18 趣链科技 版权所有 ©2016-2021 18 趣链科技 版权所有 ©2016-2021 18 不同分区（Namespace）间共识、执行、存储、网络完全独立；借助分区，一方面可实现业务隔离，保障 数据隐私安全；另一方面可实现交易并行处理，提升系统整体性能。 功 能 特 性 分区机制 业务分区而治 • 通过Namespace进行业务划分 的⼤规模⾼性能共识算法 失效恢复&动态准⼊ 新节点 全⽹共识 发起请求 验证更新 l ⾃研Recovery机制，实现动态数据失效恢复 l 基于配置交易机制⽀持节点动态增删灵活扩展 l GPU硬件加速模型，⼤幅提升共识效率 ⽹络复杂度： 从O (n2) /O (n3) O (n) P R node1 node2 node3 node4 Propose Response l 流⽔线并发共识机制，共识效率显著提⾼

Golang微服务 在腾讯游戏用户运营领域的探索及实践 刘家雄 2017/4/18 Web Architecture 关于我 刘家雄<@楚吟风> 提纲 腾讯游戏用户运营介绍 服务化架构演进 DSL加速敏捷 基准数据 总结及展望 腾讯游戏用户运营 关于腾讯游戏用户运营 Intervene 干预 Measure 评估 User 用户 核心 用户 特权 服务 忠诚度 技术体系 Lua协程绑定Go程 IO阻塞自动切换 高可用 负载均衡 寻址 限流 缓存 降级 SLA保证 并行执行单元 消息总线 屏蔽本地网络差异 微执行单元 水平伸缩 运营监控 旁路实时上报 自定义告警策略 收敛算法 海量日志查询 DSL加速敏捷 微服务编排 Node API调用 Graph 条件分支 Flow 编排策略 DSL设计 应用落地 • 正职开发核心服务，流程编

毛剑 Why Go？ ž 优雅简洁，少就是多； ž 性能好、系统级语言； ž 静态语言、强类型约束； ž 交叉编译&部署； ž 网络模型&并发同步模型； ž 标准库、内置工具强大支持； ž 开源&社区活跃； 我们做了啥？ ž 业务 — 猎豹移动全球passport体系； — 游戏开放平台； — 游戏支付体系； ž 平台 goconf统一配置管理； 接入层优化 ž DNS在移动网络下不适用； — 避免劫持、失效，dns提供商故障； ž 协议压缩：pb+gzip； — 节约流量； ž 协议设计：职责单一不适用； — 合并请求； ž TCP Handshake影响RTT; — keepalived&长连接； ž API动态加速； — proxy模式&动态CDN； SOA

逐渐变得更加精细和复杂。从巧夺天工的匠人技艺、 到解放生产力的工业产品、再到宇宙运行的科学规律，几乎每一件平凡或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 同样，数据结构无处不在：大到社会网络，小到地铁线路，许多系统都可以建模为“图”；大到一个国家，小 到一个家庭，社会的主要组织形式呈现出“树”的特征；冬天的衣服就像“栈”，最先穿上的最后才能脱下； 羽毛球筒则如同“队列”，一端放入、 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向下按层次排列，表现出“祖先”与“后代”之间的派生关系；图则由节点 和边构成，反映了复杂的网络关系。 如图 3‑1 所示，逻辑结构可分为“线性”和“非线性”两大类。线性结构比较直观，指数据在逻辑关系上呈 线性排列；非线性结构则相反，呈非线性排列。 ‧ 线性数据结构：数组、链表、栈、队列、哈希表，元素之间是一对一的顺序关系。 UTF‑8 编码。Rust 也提供了 char 类型，用于表示单个 Unicode 码点。 需要注意的是，以上讨论的都是字符串在编程语言中的存储方式，这和字符串如何在文件中存储或在网络中 传输是不同的问题。在文件存储或网络传输中，我们通常会将字符串编码为 UTF‑8 格式，以达到最优的兼容 性和空间效率。 第 3 章 数据结构 hello‑algo.com 64 3.5 小结 1. 重点回顾

产环境与软件开发之间的主要矛盾，并尝试设计一门全新的编程语言来解决这些问题。 以下就是他们讨论得出的对编程语言的设计要求： 能够以更快的速度开发软件 开发出的软件能够很好地在现代的多核计算机上工作 开发出的软件能够很好地在网络环境下工作 使人们能够享受软件开发的过程 Go 语言就在这样的环境下诞生了，它让人感觉像是 Python 或 Ruby 这样的动态语言，但却又拥有像 C 或者 Java 这类语言的高性能和安全性。 Go 语言中最值得称赞的设计 goroutine 和 channel 进行并发 和多核应用的基本技巧的讲解（第 14 章）。最后，我们会讨论如何将 Go 语言应用到分布式和 Web 应用 中的相关网络技巧（第 15 章）。 我们会在本书的第四部分向你展示许多 Go 语言的开发模式和一些编码规范，以及一些非常有用的代码片 段（第 18 章）。在前面章节完成对所有的 Go 语言技巧的学习之后，你将会学习如何构造一个完整 大的开源 团队，并使该项目跻身 Ohloh 前 2% 的行列。大约在 2011 年 4 月 10 日，谷歌开始抽调员工进入全职 开发 Go 语言项目。开源化的语言显然能够让更多的开发者参与其中并加速它的发展速度。Andrew Gerrand 在 2010 年加入到开发团队中成为共同开发者与支持者。 在 Go 语言在 2010 年 1 月 8 日被 Tiobe（闻名于它的编程语言流行程度排名）宣布为

逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向下按层次排列，表现出“祖先”与“后代”之间的派生关系；图则由节点 和边构成，反映了复杂的网络关系。 如图 3‑1 所示，逻辑结构可分为“线性”和“非线性”两大类。线性结构比较直观，指数据在逻辑关系上呈 线性排列；非线性结构则相反，呈非线性排列。 ‧ 线性数据结构：数组、链表、栈、队列、哈希表，元素之间是一对一的顺序关系。 UTF‑8 编码。Rust 也提供了 char 类型，用于表示单个 Unicode 码点。 需要注意的是，以上讨论的都是字符串在编程语言中的存储方式，这和字符串如何在文件中存储或在网络中 传输是不同的问题。在文件存储或网络传输中，我们通常会将字符串编码为 UTF‑8 格式，以达到最优的兼容 性和空间效率。 第 3 章 数据结构 hello‑algo.com 64 3.5 小结 1. 重点回顾 表。假如我们想实现字符到 ASCII 码的映射，则可以将字符的 ASCII 码值作为索引，对应的元素存放在数组中的对应位置。 ‧ 机器学习：神经网络中大量使用了向量、矩阵、张量之间的线性代数运算，这些数据都是以数组的形式 构建的。数组是神经网络编程中最常使用的数据结构。 ‧ 数据结构实现：数组可以用于实现栈、队列、哈希表、堆、图等数据结构。例如，图的邻接矩阵表示实 际上是一个二维数组。

逐渐变得更加精细和复杂。从巧夺天工的匠人技艺、 到解放生产力的工业产品、再到宇宙运行的科学规律，几乎每一件平凡或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 同样，数据结构无处不在：大到社会网络，小到地铁线路，许多系统都可以建模为“图”；大到一个国家，小 到一个家庭，社会的主要组织形式呈现出“树”的特征；冬天的衣服就像“栈”，最先穿上的最后才能脱下； 羽毛球筒则如同“队列”，一端放入、 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向下按层次排列，表现出“祖先”与“后代”之间的派生关系；图则由节点 和边构成，反映了复杂的网络关系。 如图 3‑1 所示，逻辑结构可分为“线性”和“非线性”两大类。线性结构比较直观，指数据在逻辑关系上呈 线性排列；非线性结构则相反，呈非线性排列。 ‧ 线性数据结构：数组、链表、栈、队列、哈希表，元素之间是一对一的顺序关系。 UTF‑8 编码。Rust 也提供了 char 类型，用于表示单个 Unicode 码点。 需要注意的是，以上讨论的都是字符串在编程语言中的存储方式，这和字符串如何在文件中存储或在网络中 传输是不同的问题。在文件存储或网络传输中，我们通常会将字符串编码为 UTF‑8 格式，以达到最优的兼容 性和空间效率。 第 3 章 数据结构 www.hello‑algo.com 64 3.5 小结 1.