2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读 • 单 Key 读，提供线性一致性 • Range 扫描读，支持快照读，支持分页  写 • K8s 乐观锁 resource version • 单 Key CAS  Watch • Kubernetes list-watch KubeBrain 架构 • 主从架构 • 主负责写和事件分发 • 从负责读 • 底层对接分布式强一致性存储 • CAS 事务写 • 快照读 实现架构图 存储层 存储层 – 分布式 KV Store ByteKV • Multi Raft Goup • 全局有序 Range 分区 • 强一致性 • 支持多 key 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch（1） Watch 机制本质上是一个消息队列系统 1. 可靠性 - 不重复、不丢失 2. 顺序性 - 保证最终状态的一致性 3. 实时性 - 高性能 一定有一个单点对消息进行排序 采用主从架构 逻辑层 – Watch（2） 一主多从 1. 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3）

Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 如何保持与 API Server 一致性 list & watch 机制中，list 获取 API Server 中数据的一份快照，并记 录 ResourceVersion 版本信息，watch 从 ResourceVersion 开始，获取后 续的增量数据。 watch 通过网络异步（asynchronous）获取增量数据，所以 cache 提供 的是最终一致性（eventual consistency）。

品、运营服务等能力的整合，提供开箱即用的生态应用软件，面向企业实际业务需 求，打造完整的解决方案体系。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户组织架构规划和实时资源分配，基于云原生化的 CI/CD 流水线，集成丰富的工具链 并支持流水线高效并发执行流转，自动化完成应用的构建、部署，创新性引入 云原生化存储的几种类型 1. 传统存储云原生化，通过 CSI 标准 同 Kubernetes 平台对接，此类 型相对来说比较普遍， 用户可利用现有存储，并且基于传统存储的 提供云原生存储能力稳定性好，SLA 强保障。 2. 软件定义存储云原生化，软件定义存储，兼容传统应用和云原生应 用。同样基于 CSI 标准同 Kubernetes 对接。软件定义存储通过网 络使用企业中的每台机器上的磁盘空间， 并将这些分散的存储资源

随着应用开发变得越来越动态和复杂，交付风格一致且好用的产品成为了一项挑战，尤其是在有多个团队参与 不同产品开发的大型组织中。设计系统定义了一系列的设计模式、组件库以及良好的设计和工程实践，以确保 数字产品的一致性。设计系统从过去的企业风格指南演变而来，提供易于查找和使用的共享组件库和文档。通 常，设计系统的风格指南以代码的形式记录并进行版本控制，比简单的文档记录更加清晰且易于维护。设计系 统已经成为跨团 FAIR（可发现，可访问，可互通且可复用）原则进行数据运营。我们的团队使用如 Collibra 和 DataHub 的数据目录实现数据产品的可发现性，为了建立信任，我们发布数据质量和服务等级指标，比如数 据产品的及时性、完整性和一致性，并使用 Soda Core 和 Great Expectations 等工具自动化数据质量检查。 数 据可观测性可同时通过 Monte Carlo 等平台实现。 我们已经看到数据产品随着时间的 环境都是云供应商 原生服务、第三方服务和自定义代码的复杂组合。在这些环境中，我们发现工程师通常会使用 Terraform 处理 云资源，又使用自定义脚本处理其他资源。这可能导致资源创建过程缺乏一致性和可重复性。事实上，在托管环 境中常用的许多第三方服务 Terraform 都提供了相应的支持程序，可以用来创建和配置这些服务，例如 Splunk、 Datadog、PagerDuty 和 New

to Reach Nearly $600 Billion in 2023》，Gartner， 2023 年 4 月 云计算白皮书（2023 年） 4 从区域层面来看，全球云计算发展呈现“一超多强”态势。2022 年，北美洲占据了全球 52.14%的公有云市场规模，较 2021 年增长 20.4%。欧洲、亚洲位列市场占比二三位，分别为 23.41%、18.35%。 大洋洲、南美洲、非洲均处于“云发展中”，三大洲占比总和仅 DevSecOps、云原生防火墙等。初创安全厂商 Lacework 凭借其在云 原生应用保护、容器安全等领域的云原生安全产品，已获得近 20 亿 美元风险投资。此外，在素有“全球网络风向标”之称的 RSAC 沙 盒大赛十强中，近两年涌现出多家云原生安全初创厂商，引起了业 界的广泛关注。 生态建设方面，合作伙伴成为云服务商扩大市场的新方式。合 作伙伴作为连接云厂商与企业的桥梁，是云厂商长期稳定发展的保 障。过去一 《北京市推动先进制造业和现代 服务业深度融合发展的实施意见》 加快云计算等新一代信息技术在 制造业、服务业的创新应用，培育 一批智能经济新业态等。 上海 2023.5 《上海市助力中小微企业稳增长 调结构强能力若干措施》 加强平台服务赋能。推动 25 万家 中小企业上平台上云。对中小企业 与数字化服务商签订的服务合同 给予不超过合同金额 30%的支持。 2022.6 《上海市数字经济发展“十四五”

throttling/circuit breaker throttling/circuit breaker 风险识别自愈能力升级 • 传统运维体系的效率问题 - 应用启动流程复杂 - 决策链路较长 - 状态一致性风险 容器平台 监控 VIP 服务注册 配置中心 运维平台 观察者 异常消费 基础设施 异常来源• 统一容器与应用实例的生命周期 • 下沉应用的冗余度信息 容器即应用 运维平台 监控 Read & Index APIServer Client List / Get ETCD rv=nil Page read Filter by condition• APIServer 缓存一致性读 • 索引支持动态新增 • Cache Ready Cache Read & Index APIServer Client list/get @t0 ETCD rv=nil 1. Get

500pod • 非预期突发流量 • 适用电商、在线教育等行业 • Spark／Presto • 高弹性低成本 • 免容量规划 • Jenkins/Gitlab-Runner • 低成本 • 强隔离 • 免运维 • 高弹性 • 低成本 Serverless Kubernetes - 在Kubernetes中使用Serverless容器 ECI ECI ECI ECI Kubernetes Pod ECS • 共享OS • 安全性弱 OS Pod Pod Pod Bare Metal Pod Pod Pod Pod Pod Pod Sandbox • 强隔离，安全 • 强隔离，安全 • 无节点管理 kubelet containerd OS Sandbox kubelet ECI: Elastic Container Instance • Run

使用起来更加简单 ● SideCar 共享 Network Namespace ○ 范围和权限更加可控 Chaos Mesh 使用案例 以 TiDB 为例 ● 假设 ○ TiDB 使用 Raft 一致性算法构建副本，应当拥有容错的能力 ○ 在杀掉一个节点之后，QPS 应当会下降 ○ 一段时间之后，QPS会恢复正常 ● 运行实验 ○ 使得一个节点无法工作（Pod Failure） ● 观察和检验

Serverless Computing • 更加关注业务应用 • 减少关注基础设施 Why Serverless + Container？ Container Serverless • 执行部署一致性 • 快速交付 • 敏捷化 • 免运维 • 高弹性 • 按需付费 A short history of Serverless Container 产品名称 厂商 发布日期

Ribbon 负载均衡 Ribbon Axxx Hxxx Eureka Eureka 注册 注册 Redis ES Mysql • 多云多K8S多环境的挑战 挑战 多云发布一致性 1 跨云数据同步保证 2 多环境一套模板适配性 3 多K8S的监控 4 • 基于Istio的智能路由 Istio层 IstioIngressGateway v5897 v5897 Gateway