KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 K8s 各组件 apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读  写 • K8s 乐观锁 resource version • 单 Key CAS  Watch • Kubernetes list-watch 的底层依赖 K8s 元信息存储的需求 (2) K8s 元信息存储的需求 (3) 所以 etcd 为目前 K8s 唯一支持的存储 KubeBrain 架构 Kine KubeBrain KubeBrain 架构 • 主从架构 •

算力等需求刺激下，市场仍将保持稳定增长，到 2026 年全球云计算 市场将突破万亿美元。2022 年，我国云计算市场规模达 4,550 亿元， 较 2021 年增长 40.91%。相比于全球 19%的增速，我国云计算市场 仍处于快速发展期，预计 2025 年我国云计算整体市场规模将超万亿 元。 三是云计算产业环境日益激烈，新一轮竞争全面开启。全球各 国将云计算看作抢占新一轮科技革命制高点的关键环节。云计算巨 ...................................5 图 4 中国云计算市场规模及增速（亿元）...........................................................13 图 5 中国云计算细分领域市场规模及增速（亿元）...........................................14 图 6 2022 行政数据的云服务，2026 年 3 月份前实现全国各市町村的基础设施 与云服务互联互通。2022 年 12 月，日本政府将云应用程序确定为经 济安全的 11 个关键领域之一，其工业部留出了 200 亿日元预算用于 与云有关的研究和推进活动。 云计算白皮书（2023 年） 3 （二）云市场进入稳定增长阶段，行业巨头进一步扩大 领先优势 从整体来看，全球云计算市场规模增速放缓。Gartner 数据显示

团队们 如何继续以有效协作为重点，不断突破界限，在一个更加分散和动态的环境中进行工作。一些团队利用新的协 作工具不断提出创新解决方案。其他团队则继续调整和改进现有的面对面实践，例如实时结对编程或集体编程、 分布式工作坊（例如 远程事件风暴）以及异步和同步沟通。远程工作提供了许多好处（包括更多样化的人才储 备），但面对面交流的价值是显而易见的。团队不应中断重要的反馈循环，并且需要意识到在转向远程工作时所 ，生产者或云提供商通常以不同形式支持它们，这阻 碍了跨平台和基础架构的互操作性。CloudEvents 是一个描述事件数据的通用格式的规范，旨在提供服务、平 台和系统之间的互操作性。它提供了多种编程语言的 SDK，因此您可以将规范嵌入到应用程序或工具链中。我 们的团队不仅将其用于跨云平台的目的，还用于领域事件规范等其他场景。CloudEvents 由云原生计算基金会 （CNCF）托管，现在 容器结构测试（CST）是由 Google 开发的一个工具，用于测试容器镜像的结构。CST 可以用于检查镜像文件系 统中某个文件的存在或缺失，验证文件的内容，检查容器中发出的特定命令的输出或错误，并检查容器镜像的 元数据（例如标签、入口点和命令），以确保符合 CIS Docker Benchmark 的规范。我们在使用 CST 方面有很 好的经验，建议您可以试用一下。除了预防漏洞，检查容器是否暴露不必要的端口之外，我们还使用它来验证

• 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 • 展示各种组件gRPC、HTTP、MySQL、Redis、Kafka调试信息 • 六元组（配置名、请求URL、请求参数、响应数据、耗时时间、执行行号） • 响应数据结构是否正确 • 响应是否有错误 微服务的开发阶段 • 遵循Fail Fast理念，核心错误尽早panic • /app --job=install • 初始化数据 ./app --job=initialize • 单元测试 go test ./... 单元测试大部分的玩法，都是在做解除依赖 • 面向接口编程 • mock • 依赖注入 解除依赖很好，但成本很高 基础设施将所有依赖构建起来，就不要让研发用代码去实现 微服务的部署阶段 注入信息 版本信息 发布版本 • 注入应用名称、应用版本号、编译所在机器、编译时间配置

(32GPU) V100 (8GPU) V100 (32GPU) RestNet50 模型训练时间(hours) V100 8卡 : 157.9元/小时 x 4 = 631.6 元 P100 1卡：12.78 元/小时 x108 = 1380.24 元 数据访问的新挑战 1.强大的算力需要匹配的I/O吞吐 2.计算存储分离导致I/O延迟 3.单机缓存无法满足海量数据加速 9993.6 2000 4000 6000 8000 10000 12000 1 2 4 8 ResNet50, V100（Image/Second） Synthetic Alluxio 1.缓存元数据减少gRPC交互 Client Master getStatus() open() read() …() Client Master Meta Cache First Access 避免数据冗余 1 2 3 3. Fuse性能调优 • 选择更高版本的kernel • 设置max_read=131072 • 定制libfuse2代码，支持配置Libfuse线程池 • 延长元数据缓存时间 建议 端到端的优化方案 1252.5 4981.6 9993.6 17441.6 31068.8 1269.5 3266.8 3299.2 6409.6 13478

[dev]} matchLabels 是 { key,value } 的映射。 matchLabels 映射中的单个 { key,value } 等价于 matchExpressions ⼀个元 素，其 key 为“key”， operator 为“In”， values 数组仅包含“value”。 matchExpressions 是⼀个Pod选择器需求列 表。有效运算符 可使⽤Kubernetes annotation将任意的⾮识别元数据附加到对象。 客户端可取得此元数据。 将元数据附加到对象 您可以使⽤标签或Annotation将元数据附加到Kubernetes对象。标签可⽤于选择对象并查找满⾜某些条件的对象集合。 相⽐之下，Annotation不⽤于标识和选择对象。Annotation中的元数据可⼤可⼩，结构化或⾮结构化，并且可包括标签 所不允许的字符。 地址。 指向⽇志、监控、分析或审计仓库。 ⽤于调试的客户端库或⼯具的信息：例如名称、版本和构建信息。 ⽤户或⼯具/系统来源信息，例如来⾃其他⽣态系统组件的相关对象的URL。 轻量级升级⼯具的元数据：例如配置或检查点。 负责⼈的电话或寻呼机号码，或指定能找到该信息的条⽬，例如团队⽹站。 如果不使⽤注释，则可将这种类型的信息存储在外部数据库或⽬录中，但这将会使⽣产共享客户端库/⼯具（⽤于部

服务治理 Spring Cloud 多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 服务元数据 服务测试 服务mock 持续集成 IDE插件 应用监控 链路追踪 日志管理 应用诊断 微服务架构总览 https://www.jetbrains.com/lp/devecosystem-2019/java/ 基于隔离容器 • 运维治理效率 大幅提升 • 无侵入 • 0升级成本 • 全面兼容开源 • 无侵入 • 多语言 • 依赖冲突难管理 • SDK升级成本高 微服务治理演进路线 • 服务元信息 • 服务契约管理 • 服务测试 • 服务Mock • 开发环境隔离 • 端云互联 运行态Ops 开发态Dev • 无损下线 • 无损上线 • 金丝雀发布 • A/B Test Dev-Sec-Ops 无损下线 离群实例摘除 标签路由 服务鉴权 链路跟踪 金丝雀发布 API管理 服务测试 限流降级 故障注入 • 业务无侵入、无感知 • 0升级成本 • 全面兼容开源 注册中心 元数据中心 微服务引擎 基于 Java Agent 的服务治理 public class BaseLoadBalancer { … @Override public List g

21 案例：裸金属容器服务，帮助咪咕互娱大幅降低成本，加速业务上线，提升运维效率 节约开发测试成本 通过自动化持续构建与 测试，降低开发测试成 本，可节省290人日/ 月，节约成本约237万元 /年 237万/年 节约成本 COST 290人日/月 测试成本降低 运维效率提升6倍 建立CI/CD流程，将开 发、测试、运维有机串 联，SDK版本升级由30分 钟缩至5分钟 Efficiency 时间缩短 弹性伸缩应高峰 容器配置与数量根据业 务量秒级扩缩容，轻松 应对热点业务高峰浪涌 应业务量弹性扩缩容 占用资源减半 该项目实施后，节约一次性 投资1160万元，节约机架 租赁及软硬件维保费用530 万元/年 1160 万 … … … 节约投资 Equipment 节约成本 530 万 中移动咕互娱运维平台承担所有业务APP用户鉴权、计费前端和广告推送，高峰并发请求25000次/秒、1

Manager sidecar framework 运维能力 operator sidecar framework 运维能力 operator 运维平台 运维基础 能力沉淀 运维平台 运维能力 编程框架 Kubernetes Platform不可变基础设施 base os dep2 dep1 config binary Docker K8s Pod main Container