Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读 • 单 Key 读，提供线性一致性 • Range 扫描读，支持快照读，支持分页  写 • K8s 乐观锁 resource version • 单 Key CAS  Watch • Kubernetes list-watch 的底层依赖 K8s 元信息存储的需求 主负责写和事件分发 • 从负责读 • 底层对接分布式强一致性存储 • CAS 事务写 • 快照读 实现架构图 存储层 存储层 – 分布式 KV Store ByteKV • Multi Raft Goup • 全局有序 Range 分区 • 强一致性 • 支持多 key 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 etcd KubeBrain 能否使用类似的格式？ KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch（1） Watch 机制本质上是一个消息队列系统 1. 可靠性 - 不重复、不丢失 2. 顺序性 - 保证最终状态的一致性 3. 实时性 - 高性能 一定有一个单点对消息进行排序 采用主从架构 逻辑层 – Watch（2） 一主多从 1. 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3）

的一款响应式状态管理库。在 Flutter 可用的状态管理选项中，我们想突出 Bloc，因为我们团 队在使用该库构建复杂移动应用程序时体验很好。当 UI 组件通过流和事件接收器与业务逻辑进行通信时，围绕 BLoC 模式 结构化的组织代码实现了业务逻辑与表示层的完全分离。Bloc 在 IntelliJ 和 VSCode IDE 中都提供了 良好的插件支持。 48. cdk-nag 试验 cdk-nag 能够识别并报告 在问题表示欣赏。 50. Chromatic 试验 Chromatic 是一款可视化回归测试工具，可帮助捕捉网络应用程序中的用户界面回归。它的工作原理是拍摄用 户界面组件的快照，并在组件发生变化时将其与之前的快照进行比较。Chromatic 是一种托管服务，可与流行 工具 © Thoughtworks, Inc. All Rights Reserved. 28 的云代码托管服务集成。它建立在 Mockery 是一个成熟的 Golang 库， 它能够生成接口的 mock 实现，并模拟外部依赖的行为。通过类型安全的方 法生成期望的调用，并通过灵活的方式 mock 返回值，它使得测试能够专注于业务逻辑，而无需担忧外部依赖 的正确性。Mockery 使用了 Go 生成器，且简化了测试套件中的 mock 的生成与管理。 语言和框架 © Thoughtworks, Inc. All Rights

GET 请求，watch 为一 个 HTTP/2 长连接 Cache 如何保持与 API Server 一致性 list & watch 机制中，list 获取 API Server 中数据的一份快照，并记 录 ResourceVersion 版本信息，watch 从 ResourceVersion 开始，获取后 续的增量数据。 watch 通过网络异步（asynchronous）获取增量数据，所以 的是最终一致性（eventual consistency）。 期间遇到网络、API Server 报错等异常时，会有重试机制 Controller-runtime 的 Informer 增加一段逻辑：如果上层 GET 某个 object 没有对应的 informer， controller-runtime 会马上为其增加 informer 并完成初始化 Cache 注意事项 Cache 中

：可运⾏在Ubuntu、RHEL、CoreOS、内部部署，Google Container Engine以及任何其他 地⽅。 以应⽤为中⼼的管理：从在虚拟硬件上运⾏操作系统的抽象级别，提升到使⽤逻辑资源在操作系统上运⾏应⽤程序 的级别。 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩、独⽴的部件，可动态部署和管理——⽽不是⼀个运⾏ 在⼀个⼤型机上的单体。 01-什么是Kubernetes s集群的etcd数据提供备份计划。 kube-controller-manager kube-controller-manager 运⾏Controller，它们是处理集群中常规任务的后台线程。逻辑上来讲，每个Controller都是⼀ 个单独的进程，但为了降低复杂性，它们都被编译成独⽴的⼆进制⽂件并运⾏在⼀个进程中。 这些控制器包括： Node Controller：当节点挂掉时，负责响应。 。 API⽬前⽀持两种类型的选择器：equality-based 和 set-based 。Label选择器可由逗号分隔的多个需求组成。在多重需 求的情况下，必须满⾜所有需求，因此逗号作为AND逻辑运算符。 ⼀个empty Label选择器（即⼀个零需求的选择器）选择集合中的每个对象。 null Label选择器（仅⽤于可选的选择器字段）不选择任何对象。 注意 ：两个Controller

如何做到激增流量时，全链路联动扩缩容 ‣ 如何通过共享减少资源占用 ‣ 如何识别流量，智能路由 • 资源隔离，逻辑隔离，物理隔离 逻辑隔离多环境共享一个K8S（线下） 问题1 多环境物理隔离（线下，线上） 问题2 推荐做法 • 资源严格隔离：独占K8S，根据引入流量区分线上，线下 • 资源逻辑隔离：线下环境，通过智能路由，解决多环境 • 多云部署的目的 目的一 目的二 目的三 多K8S集群严格隔离

Azure云；支持多种分布式存储包括GlusterFS和Ceph；也支持 较容易使用的主机本地目录hostPath和NFS。K8s还支持使用Persistent Volume Claim即PVC这种逻辑存储，使用这种 存储，使得存储的使用者可以忽略后台的实际存储技术（例如AWS，Google或GlusterFS和Ceph），而将有关存储实际 技术的配置交给存储管理员通过Persistent Volume来配置。 K8s基本概念和术语介绍（PV和PVC） Persistent Volume，PV（持久存储卷）和 Persistent Volume Claim，PVC（持久存储卷声明）： PV和PVC使得K8s集群具备了存储的逻辑抽象能力，使得在配置Pod的逻辑里可以忽略对实际后台存储技术的配置， 而把这项配置的工作交给PV的配置者，即集群的管理者。存储的PV和PVC的这种关系，跟计算的Node和Pod的关系是非 常类似的；PV和Node是

CNI CRI CSI DNS Backup Restore 交付类场景 01 整个集群或者分布式应用整 体打包，一键交付 标准化交付产物，而不是靠 操作文档协作 交付者无需关心业务逻辑，一条命令 完成任意分布式高可用应用交付 支持完全离线场景，小白操 作 20min 自动化完成 全国多个 02 交付环境： 各大公有云 不同版本liux发行版 裸金属 AMD ARM ······ 禁止掉所有用户越权操作，如查看主机 namespace 共享主机端口，共享主机文件系统等操作 以保障多租户之间相互共享一个集群是安全的 User Namespace N 对 N 横向隔离 & 纵向隔离 逻辑隔离 & 物理隔离 选型 原因 编程语言 Golang/typescripts Kubernetes go 生态最为成熟，ts 主要前端 框架 Kubebuiler/react/nextjs/go-restful/

调用其他提供者 Agent 2 主动通知 Agent 3 客户端主动刷新 Agent Agent 无损下线: 白天大流量下发布依然丝般顺滑 场景一：某应用发布，灰度几台机器，由于代码逻辑写的有问题，造成线程池满，客户端调用失败。 场景二：某应用运行过程中，某几台机器由于磁盘满，或者是宿主机资源争抢导致load很高，客户端出现调用超时。 客户端摘除 • 实时性高 • 需要关注错误率阈值、隔离机器的比 v1 应用D v1.1 正常流量 RPC http请求 应用C v1.2 应用D v1.2 http请求 开发环境2 • 研发人员每个人独立部署一套环境 • 基于全链路流量控制进行逻辑隔离 • 入口请求打上标识，标识绑定应用 分组，形成规则推送到配置中心 • 大幅度降低研发成本 tag1 tag2 tag1 tag1 tag2 tag1 tag1 tag2 tag2

SACC2017 21 K8s 集群模型 • 一个或多个主节点 (master) • 一个或多个工作节点(worker) • 命名空间（Namespaces） – 用于命名分隔资源的逻辑组 K8s Cluster Worker node 1 Worker node 2 Worker node 3 Master SACC2017 Pod的概念 • Po SACC2017 • 基于Kubernetes容器云平台初步实现BaaS的基础部署步骤。 • 在此之上，增加更多的区块链层运维管理功能，图形化运 维界面，使得开发人员投入更多的精力到应用的业务逻辑 上。 • 详细文档和代码： https://github.com/hainingzhang/articles 44 总结 公众号：亨利笔记 SACC2017

•服务数量暴涨 •资源需求暴涨 •部署效率急需提高 •研发期望独占资源 服务治理现状 •Homebrew microservice •配置手工管理 •L7划分不清，耦合业务逻辑 •SDK能发现grpc发现不了http 部署环境现状 •复杂的环境管理和大量的AB服 务产生了复杂的部署系统 •AB服务是中短期资源消耗型服 务，要求交付快释放快 上云前的现状