如何继续以有效协作为重点，不断突破界限，在一个更加分散和动态的环境中进行工作。一些团队利用新的协 作工具不断提出创新解决方案。其他团队则继续调整和改进现有的面对面实践，例如实时结对编程或集体编程、 分布式工作坊（例如 远程事件风暴）以及异步和同步沟通。远程工作提供了许多好处（包括更多样化的人才储 备），但面对面交流的价值是显而易见的。团队不应中断重要的反馈循环，并且需要意识到在转向远程工作时所 做的取舍。 © Thoughtworks 对告警规则的单元测试 试验 可观测性和监控对于软件团队至关重要。鉴于特定事件的不可预测性，创建具有复杂规则的准确告警机制至关 重要。然而，只有当事件真实出现时，这些规则才能得到真正的验证。对告警规则的单元测试让团队通过预先、 主动地测试和完善规则，来更好地定义规则，从而增加对规则的信心。这有助于减少误报，并确保报告真正的 事件。Prometheus 等工具支持对规则进行单元测试。 我们的团队报告它的确可以在现实环境中起到帮助作用。 器上的软件更新到最新版本。像监控你的生产软件一样去监控 你的 CI/CD 系统的完整性、保密性和可用性。 我们不断见到有团队忘记这些实践，特别是当他们使用在内部网络中自我管理的 CI/CD 基础设施的时候。所有 这些实践不仅在内部网络中很重要，当使用托管服务时，因为扩大了攻击面和影响范围，这些实践会变得更加 关键。 16. 通过依赖健康检查化解包幻觉风险 评估 确保软件供应链的安全

：在构建/发布期间⽽⾮部署期间创建镜像，从⽽将应⽤程序与基础架构分离。 开发、测试和⽣产环境⼀致 ：在笔记本电脑运⾏与云中⼀样。 云和操作系统可移植性 ：可运⾏在Ubuntu、RHEL、CoreOS、内部部署，Google Container Engine以及任何其他 地⽅。 以应⽤为中⼼的管理：从在虚拟硬件上运⾏操作系统的抽象级别，提升到使⽤逻辑资源在操作系统上运⾏应⽤程序 的级别。 松耦 14 K8s组件 本⽂概述了Kubernetes集群中所需的各种组件。 Master组件 Master组件提供K8s集群的控制⾯板。Master对集群进⾏全局决策（例如调度），以及检测和响应集群事件（例如：当 replication controller所设置的 replicas 不够时，启动⼀个新的Pod）。 Master可在集群中的任意节点上运⾏。然⽽，简单起⻅，设置脚本通常在同⼀个 。但Namespace资 源本身并不在Namespace中。低级资源（例如： nodes 和persistentVolumes）也不在任何Namespace中。事件是⼀个 例外：它们可能有也可能没有Namespace，具体取决于事件的对象。 08-Namespace 25 Label和Selector（Label和选择器） Label是附加到对象（如Pod）的键值对。Label旨在⽤于

Cloud . 北北京 基于Kubernetes构建容器器云平台的实践 UCloud优刻得实验室负责⼈人 叶理理灯 中⽴立安全·赋能产业 Think in Cloud . 北北京 UCloud内部容器器平台，提供弹性、分布 式的应⽤用托管服务平台，帮助开发者⼀一站 式轻松开发并部署应⽤用程序。KUN底层基 于 Kubernetes ，提供⾼高可⽤用，在线升 级，⾃自动扩缩，负载均衡，⽇日志查看，资 ⾸首先在k8s中注册CRD • Operator 于 API server 交互，Watch 全部的 Namespace 或者特 定Namespace中对CR的创建、更更新、删除事件 • Operator 处理理这些事件，可以使⽤用 k8s 中的pod、deployment、 statefulset 对象构建应⽤用 Operator⼯工作原理理 Operator Kubernetes API 的service，业 务流量量可以先通过ULB转发到公有云Node节点上，再 通过公有云节点上kube-proxy配置的iptables规则转 发到整个集群中实际⼯工作的pod。 • 集群内部通信通过kubeproxy完成。 Client ULB(LoadBalancer Service) ⽹网关 Kubeproxy Node A Node B Node C Node C Node

K8s 元信息存储的需求 (3) 所以 etcd 为目前 K8s 唯一支持的存储 KubeBrain 架构 Kine KubeBrain KubeBrain 架构 • 主从架构 • 主负责写和事件分发 • 从负责读 • 底层对接分布式强一致性存储 • CAS 事务写 • 快照读 实现架构图 存储层 存储层 – 分布式 KV Store ByteKV • Multi Raft 3. 实时性 - 高性能 一定有一个单点对消息进行排序 采用主从架构 逻辑层 – Watch（2） 一主多从 1. 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3） • Master 内存中保留最近写入的 事件 • 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 Brain 层 获取滑动窗 口当前 Committed Index 序 号 • 根据当前序号进行快照读 • Range 后 Client 通过 Watch 从leader RingBuffer 中获取 增量事件，达到 最终一致性 逻辑层 – 选主 逻辑层 – TSO 接入层 接入层 客户端 客户端 K8s 元信息存储的需求 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 •

容器管理技术Borg的开源版本。是目前最流行的容器编排技术。 它由谷歌在2014年首次对外宣布 。它的开发和设计都深受谷歌的Borg系统的影响，它的许多 顶级贡献者之前也是Borg系统的开发者。在谷歌内部，Kubernetes的原始代号曾经是Seven， 即星际迷航中友好的Borg(博格人)角色。Kubernetes标识中舵轮有七个轮辐就是对该项目代 号的致意。 Kubernetes v1.0于2015年7月21日发布。随着v1 自动完成容器部署。 自我修复：容器故障后自动重启、节点故障后重新调度容器，以及容器自我修复机制。 水平扩展：通过简单明了实现水平扩展，基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 kube-proxy：它负责节点的网络，在主机上维护网络规则并执行连接转发。它还负责对正在服务的pods进行负载平衡。 比如一个服务可能会运行多个副本（Pod），由他来控制具体由哪个Pod提供服务。为Service提供cluster内部的服务发 现和负载均衡。 Docker Engine（docker）：docker引擎，负责本机的容器创建和管理工作。 12 www.h3c.com Confidential 秘密 12 12

构建现代化应用的最典型技术方案，但应用现代化并非单纯依靠技 术手段达成，需要完整的建设方法论，具体包含五个方面，如图 7 所示：一是应用架构现代化，依据分而治之、开放设计、统一风格 三重设计原则，通过微服务、Serverless、事件驱动和命令职权分离 等先进架构升级应用范式；二是数据架构现代化，以云原生为底座 优化数据摄取、数据存储、数据分析、数据消费、数据治理等能力， 云计算白皮书（2023 年） 16 充分挖掘数 化产品 性能调优、内核调优和部署架构优化，将性能指标差异控制在有效 区间，从而释放极致算力。 流程层面，平台工程以产品化、自助式的开发者平台，满足多 场景下应用研发需求。平台工程是一种自助式内部开发者平台的技 云计算白皮书（2023 年） 18 术架构和运营管理模式，为云时代的软件工作组织提供应用交付和 管理服务。平台工程师提炼出一套可复用的组件服务和业务流程， 工程化运作成为平 等技术生成可供企业 参考的云成本优化建议，帮助企业提前规划并控制云成本支出。第 三，在云成本计量计费场景下，虚拟计费技术能够帮助企业对自建 私有云等资源进行虚拟计费，通过自定义计费策略及支出模式，为 企业内部规划统一完整的云成本体系架构。目前，阿里云、腾讯云 等企业已开展 FinOps 理念落地实践，并通过云成本优化技术和工具 赋能用云企业，满足企业多样性场景需求，提升企业云管理与优化 治理成效。

选择所用框架（镜像）：支持官方，亦可自制 （提供 dockerfile 生成镜像服务） – 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 可以查看具体的容器列表，以及查看容器的日志和事件 Serving 服务 提供统一便捷的 Serving 服务，只需用户指定模型，即可提供

(gen=2)。 Controller-runtime 的 Reconcile 过程是一个 EDA 模型，当该 stale 对象的更新到达 cache 时，controller-runtime 会发送一个事件（Event）给到 owner controller（也就是我们的 cluster controller）。这时该对象处于 latest 状态， 根据表格，Plan Action执行后符合预期。对于其它已经处于 并不会有其它影响， 所以stale 对象被成功补救回来。 这个过程可以推广到多个 stale 对象。 所以最终 stale cache 下能保证 operator 的正确性，前提是 operator 要收到所有对象的事件。 Operator 最佳实践 第三部分 Operator 开发常见概念关系 Kubebuilder 框架模型 Setup 阶段接口 // For defines the type of object metav1.Object, scheme *runtime.Scheme) error {...} ⚠️ Owns + SetControllerReference 配合，保证收到所有事件 实战：build an operator from scratch 实验描述： Kubernetes 中有一个支持用 Cron 表达式运行定时任务的对象叫 CronJob，本次实验会用 Kubebuilder

全生命周期管理。 ➢ 应用负载的弹性伸缩，支持应用负载的手动/自动扩缩容，支持横向伸缩、纵向伸缩、 以及定时伸缩，从容应对流量高峰。 ➢ 应用的全生命周期，支持应用查看、更新、删除、回滚、事件查看以及升级等全生命 周期管理。 ➢ 跨集群负载统一管理能力。 策略管理 支持以命名空间或集群粒度制定网络策略、配额策略、资源限制策略、灾备策 略、安全策略。 ➢ 网络策略，支持 定制等，实现用户信息的安全性和 平台的个性化。 可观测性 可观测模块 (Insight) 是以应用为中心、开箱即用的新一代云原生可观测性平 台。 能够实时监控应用及资源，采集各项指标、日志及事件等数据用来分析应 用健康状态，不仅提供告警能力以及全面、清晰、多维度数据可视化能力，兼 容主流开源组件，而且提供快捷故障定位及一键监控诊断的能力。 可观测模块实现了指标、日志、链路的统一采集，支持对指标、日志进行多维 提供容器、服务、节点和集群等多维度的监控 ➢ 支持查询 CPU、内存、存储、网络等监控指标 ➢ 集成 Grafana，提供精选的开源仪表盘 ➢ 支持集群工作负载日志，系统日志和 Kubernetes 事件的采集和查询 ➢ 支持单条日志的上下文查询 ➢ 以集群为维度生成服务拓扑，查看服务间调用关系 ➢ 侵入式链路采集，支持查询服务的实时 RPS、错误率、时延等关键指标 ➢ 提供开源的聚合链路查询

•一个部署调度到多个集群 •业务可自定调度策略 •达到机架、机房、集群级容灾 服务发现方案 •K8S自带的服务发现不可用 •基于Pod事件的服务发现 •现状妥协导致服务发现链路变长 集群失败了 •没有办法操作K8S？ •基于假事件的重新调度 •灾难场景可迁移至备份集群 部署平台 •研发平台支持混合部署 •研发直接容器扩容完成迁移 •研发精确控制发版速度 •支持容器回滚到物理机