Golang⼤规模云原⽣应⽤管理实践 刘洋（炎寻） 关于我 • 毕业于中国科学技术大学，定居杭州 • 就职于阿里云-云原生应用平台团队 • Problem Solver，聚焦中间件，容器，Kubernetes，PaaS平台… • OAM社区成员 开局一张图 规模化应用交付效率对比去年 每万笔峰值交易的IT成本对比4年前 提升1倍 下降80% 云原生 技术 稳定 成本 效率 策略与机制随着层次的变化而变化； 应用管理的策略与机制 应用 版本 工作负载 负载均衡 标签 流量 组件 日志 指标 容量 服务 依赖 路由规则 持久卷 部署策略 健康检查 … 灰度 发布 定时弹性 事件 指标弹性 分批发布 重启 回滚 日志管理 事件中心 指标监控 存储挂载 服务绑定 手动弹性 回退历史 负载均衡 报警 诊断 组件管理 服务治理 … 的Annotation； • 稳定性不足：没有设置Pod的QoS等级，导致频繁被驱逐，没有设置反亲和性策略，导致节点流量不均; • 扩展效率低：需要负责安装，升级丰富的云原生插件，无法解决插件的依赖，冲突和资源浪费问题； • 运维成本高：Apiserver, etcd, Controller-Manager, Kubelet,等组件都具有一定复杂度，无法做到定期升 级以维持安全，高可用，高性能的状态；

业务 数据 业务系统 C 业务 数据 业务系统 A 业务 数据 业务系统 B 资源管理在统⼀平台 应⽤运⾏在统⼀平台 构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 : 实现⼤规模交付的部署过程可被验证 PaaS 平台：资源管理，容器编排，基础监控和告警 APM 监控：应⽤诊断，链路追踪，⽇志分析 微服务治理组件 诊断 ⾃定义告警 APM 微服务管理 资源管理 标签管理 系统监控 集群管理 服务⽬录 埋点 数据库 ⽇志 画像 标签 报表 推荐 … 代码管理 持续集成 编排部署 应⽤运维 测试管理 协同管理 数据源管理 数据集成 数据开发 数据资产 数据服务 数据应⽤ 资源统计 运维报告 审计⽇志 K8S 管理 数据监控 多云管理平台 MySQL Redis Kafka 中间件 通⽤服务 ⾃定义服务 服务市场 Kubernetes Rancher Openshift 私有云 公共 物理机 虚拟机 微服务治理平台 DevOps 平台 边缘监控 边缘站点管理 制品 快速分发部署 边缘⽇志 边缘计算平台 边缘数据收集 边缘算⼒调度 ⽹络⾃动容错 平台产品 核⼼引擎 容器服务 基础设施 数仓设计 数据智能平台 智能预测 智能客服

冷热可交换、策略可定制、内存可扩展，多种冷数据淘汰组件，自由组合 存储扩展，冷热数据交换 可自定义冷热数据交换策略 还能提供什么帮助？ 04. 降低硬件成本，降低依赖，保证稳定性 同样的性能，需要更少的硬件资源，降低成本 01 核心数据在本地，依赖少，更稳定 02 • 千万级内存对象，GC严重耗时，如何解决？ • 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ RabbitMQ、Redis、文件或其它平台的 应用程序 数据管理 如何像SQL一样灵活？ 多维度查询 03. 业务数据的查询条件复杂，数据在内存中该如何组织 Q1：已开始的公益直播，且公开显示 直播1 Q2：2021-06-27 10:00:00之后 Q1 无数据 数据模型管理 04. 基于golang的struct tag实现正排、倒排结构的自动化管理 全数据扫描？ 索引 主键 倒排 每次QPS掉底都与GC相关 GC较高的耗时对QPS的影响巨大 服务性能上不去，QPS剧烈抖动 代码实施 语言局限性，如何突破？ 解决GC扫描耗时的问题 08. 基于cgo，定制化的内存管理，减少运行时对golang结构的gc扫描 Copy Copy 内存数据与golang结构间的桥梁 09. 自研MemoryTile（定制化的golang序列化反序列化），解决百万数据量级序列化反序列化耗时问题

强大便捷的开发工具链 • 完善的本地中文化支持 • 设计为团队及企业使用 特点 框架介绍-框架架构 • 发布方式：Docker、二级制、源码模块 • 模块管理： • 核心模块、社区模块、三方模块 • Go Modules管理方式 • 开发工具链 • 设计模式：MVC、三层架构、工具集 • 应用接口：HTTP/TCP/UDP/RPC Server、终端应用、源码接口 • 数据库类 本都会上升。 CRP 共同复用原则 (Common Reuse Principle) 不要强迫一个模块依赖它不需要的东西。 模块复用原则竞争关系张力图 模块化设计-单仓包设计 痛点： • 实现相同功能逻辑的模块百花齐放，选择成本过高 • 项目依赖的模块过多，项目整体的稳定性会受到影响 • 项目依赖的模块过多，无从下手是否应当升级模块版本 • 各个模块孤立设计，单独看待每个模块可替换性很高， 1. 模块低耦设计：文件层面的源文件下载与模块之间的逻辑耦合没有直接关系 2. 框架核心精简：功能强大且代码精简，包含测试与示例代码共8MB容量 3. 编译语言特性：编译型语言和解释型语言的模块管理逻辑不太一样 虽然框架每一个模块都按照低耦合设计，模块可以选择性引入，但在使用时也得全量下载完整框架代码。 源代码 编译 执行 目标代码 输出 打包发布 一次编译 多次执行 编译型语言：

基于gopush的推送平台&goim； — 基于redis sentinel的smart client； — rpc框架； — gosnowflake发号器集群； — goconf统一配置管理； 接入层优化 ž DNS在移动网络下不适用； — 避免劫持、失效，dns提供商故障； ž 协议压缩：pb+gzip； — 节约流量； ž 协议设计：职责单一不适用； Service之间通过Thrift或者net/rpc通讯； ž 依赖redis sdk访问redis； ž 直连mysql； ž 用户的所有业务逻辑基于Go处理； Service ž 服务应该是无状态的； ž api服务出现瓶颈的时候，直接scale out； ž graceful restart依赖健康检测； ž api质量监控，使用日志来追踪，通过本 实时监控可以考虑flume sink到kafka，再 依赖Spark计算； RPC ž 协议&远程调用的选型； — net/rpc，thrift，grpc等； ž 链路追踪，参考Google Dapper论文，核 心思路是关键库植入代码，因为缺乏 AOP编程支持，我们使用golang blog推 荐的依赖context对象； ž 服务发现、负载均衡依赖ZK； ž 弹性调度的支持，降级处理、动态扩容；

Scala（Java 的并发语言）有更低的门槛，真可谓是 21 世纪的 C 语言！ 作为一门系统编程语言，你不应该为 Go 语言的大多数代码示例和练习都和控制台有着密不可分的关系而 感到惊奇，因为提供平台依赖性的 GUI（用户界面）框架并不是一个简单的任务。有许多由第三方发起的 GUI 框架项目正在如火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过 现阶段的 Go 月：谷歌投入使用 2011 年 5 月 5 日：Google App Engine 支持 Go 语言 从 2010 年 5 月起，谷歌开始将 Go 语言投入到后端基础设施的实际开发中，例如开发用于管理后端复杂 环境的项目。有句话叫 “吃你自己的狗食”，这也体现了谷歌确实想要投资这门语言，并认为它是有生产 价值的。 Go 语言的官方网站是 golang.org，这个站点采用 Python 作为前端，并且使用 发过程中的代码测试环节更加紧凑，而不必浪费大量的时间在等待程序的构建上。 依赖管理是现今软件开发的一个重要组成部分，但是 C 语言中“头文件”的概念却导致越来越多因为依赖 关系而使得构建一个大型的项目需要长达几个小时的时间。人们越来越需要一门具有严格的、简洁的依赖 关系分析系统从而能够快速编译的编程语言。这正是 Go 语言采用包模型的根本原因，这个模型通过严格 的依赖关系检查机制来加快程序构建的速度，提供了非常好的可量测性。

可测试能力 –单测，覆盖度测量 • 错误检查能力 –编译 –程序异常的trouble shooting 后台程序开发的需求(3) • 上线和运维 –对运行环境的依赖 –对库（动态库）的依赖 后台程序编程的难点 • 内存的管理 –C程序中很大比例的Bug和内容有关 • 分布式/高并发的处理 –10年前还是一个很hot的话题；目前也还没有普 遍掌握 –CPU资源的调度：Process/Thread/Event • 无编译，可用pylint做检查，易出低级错误 • 错误，exception C vs Python (3) • 上线和运维 –C: 可编译为独立可执行程序(包括依赖的库) –Python: 需要python运行环境，及依赖的库 Golang (1) • 性能 –和C接近 • 并发性 –Go routine: 屏蔽底层的机制，充分利用cpu资源 –多线程模型：容易思考 • 开发效率 事件驱动的编程模型：编码和调试难度大 • C语言本身的难度和开发效率 –配置管理方式落后 • 为单产品线设计，无法支持平台化要求 • 配置变更(修改、重载、验证)能力差 –变更和稳定性的矛盾 • 程序出core 技术选型：Go vs Nginx • 学习成本 • 开发成本 –并发编程模型：同步(Go) vs 异步(Nginx) –内存管理 –语言描述能力 • 性能 – 在BFE的场景下，性能在可接受范围内

Go微服务框架rpcx作者 • Go并发编程实战课专栏作者 • 《Scala集合技术手册》作者 目 录 Go 版本管理历史 01 认识 Go Module 02 使用 Go Module 03 血泪史 04 Go Module 未来特性 05 Go版本管理历史 第一部分 Go版本历史 GOPATH /2012/go 1.0 goven /2012/ .../kr/goven require中的xxx pseudo-version vx.y.z-yyyymmddhhmmss-abcdefgh incompatible 版本>=2,但是没有go.mod indirect 依赖引入的依赖，go.mod不包含 go.mod 文件 exclude & replace exclude 排除特定的版本 replace 替换特定的版本、或者所有版本 go.mod 文件 replace中更多配置 文件 用来验证依赖库的可重复性、避免恶意更改或者意外更改。 ① ② module version 和 dependency file tree的 checksum module version/go.mod 和 此文件的checksum。 MVS MVS Minimal Version Selection by Russ Cox 构建main module时每个依赖的版本选择算法。

Scala（Java 的并发语言）有更低的门槛，真可谓是 21 世纪的 C 语言！ 作为一门系统编程语言，你不应该为 Go 语言的大多数代码示例和练习都和控制台有着密不可分的关系而感到惊奇， 因为提供平台依赖性的 GUI（用户界面）框架并不是一个简单的任务。有许多由第三方发起的 GUI 框架项目正在如 火如荼地进行中，或许我们会在不久的将来看到一些可用的 Go 语言 GUI 框架。不过现阶段的 Go 语言已经提供了 月：谷歌投入使用 2011 年 5 月 5 日：Google App Engine 支持 Go 语言 从 2010 年 5 月起，谷歌开始将 Go 语言投入到后端基础设施的实际开发中，例如开发用于管理后端复杂环境的项 目。有句话叫 “吃你自己的狗食”，这也体现了谷歌确实想要投资这门语言，并认为它是有生产价值的。 Go 语言的官方网站是 golang.org，这个站点采用 Python 作为前端，并且使用 ， 而不必浪费大量的时间在等待程序的构建上。 依赖管理是现今软件开发的一个重要组成部分，但是 C 语言中“头文件”的概念却导致越来越多因为依赖关系而使得 构建一个大型的项目需要长达几个小时的时间。人们越来越需要一门具有严格的、简洁的依赖关系分析系统从而能够 快速编译的编程语言。这正是 Go 语言采用包模型的根本原因，这个模型通过严格的依赖关系检查机制来加快程序构 建的速度，提供了非常好的可量测性。