KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本  减少资源碎片  提高资源利用率 Kubernetes 的架构特点 中心化架构 所有组件通过 apisever 交互 随着规模增大存储系统成为瓶颈 etcd 存在性能问题 apiserver etcd K8s 各组件 apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe

⾸云容器产品Kubernetes操作指南 简介 �.产品简介 �.使⽤须知 集群管理 �.简介 �.使⽤须知 �.操作说明 节点管理 �.简介 �.使⽤须知 �.操作说明 存储管理 �.简介 �. 操作说明 应⽤管理 �. 简介 �. 前提条件 �. 操作说明 ⽹络管理 �.简介 �.操作说明 监控管理 �.简介 �.操作说明 （�）开启监控 （�）概览⻚监控查看以及资源介绍 Wordpress 容器服务 Kubernetes 版（CCK），提供⾼性能可伸缩的容器应⽤管理能⼒，⽀持Kubernetes社区原⽣应 ⽤和⼯具。简化集群的搭建和扩容等运维类⼯作，整合⾸云虚拟化（裸⾦属）、存储、⽹络和安全能⼒， 打造云端最佳的容器化应⽤运⾏环境。 简介 1.产品简介 3 ⽬前开放节点：⽆锡A，东京A，⾹港A，新加坡A，达拉斯A，法兰克福A。 注：根据客户需求可以⼀天内在新节点部署好容器服务。 ⾸云提供了NAS⽂件存储服务，并且针对Kubernetes集群提供了⾃研的存储驱动的⽀持 创建⽂件存储 NAS 选择⽂件存储NAS后，选择右上的新建按钮可以创建⼀块新的NAS存储 存储管理 1.简介 2. 操作说明 13 在新⻚⾯中，依次选择可⽤区，输⼊名称，选择类型和容量，最后单击确定 在该⻚⾯，可以看到所配置的存储的价格 可以⽤去的选择要和容器集群所在区域⼀致，不同区域的集群和存储间不能挂载和访问

载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes 6 不部署源代码，并且不构建应⽤。持续集成（CI ⽔平扩展——也就是通过部署 更多实例来实现扩容。详⻅ Building High-Availability Clusters 。 etcd etcd ⽤作Kubernetes的后端存储。集群的所有数据都存储在此。请为你Kubernetes集群的etcd数据提供备份计划。 kube-controller-manager kube-controller-manager 运⾏Controlle 将容器的通⽤时序指标记录到⼀个中⼼化的数据库中，并提供⼀个UI以便于浏览该数 据。 Cluster-level Logging（集群级别的⽇志） Cluster-level logging 机制负责将容器的⽇志存储到具有搜索/浏览界⾯的中央⽇志存储中去。 Node组件 Node组件在每个Node上运⾏，维护运⾏的Pod并提供Kubernetes运⾏时环境。 kubelet kubelet 是主要的Node代理。它监视已

Thoughtworks, Inc. All Rights Reserved. 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 56 61 45 暂缓 暂缓 评估 评估 试验 试验 采纳 采纳 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 Reserved. 13 4. 攻击路径分析 试验 攻击路径分析是一种分析和评估潜在攻击路径的安全分析方式，黑客可能按照这些来自组织内系统网络的潜在 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期

宣布了云计算的国家战略，创建存储所有公共部门应用程序和公民 数据的国家级云计算系统，并将相关数据向“国家云”转移。 英国和澳大利亚政府发布国家战略，深度挖掘云计算的产业赋 能价值。在政府云战略（G-Cloud）基础上，英国国防部在 2023 年 2 月又发布了《国防云战略路线图》，该路线图明确定义了到 2025 年 的云愿景和战略成果，提供了建立国防云的实施路径，大力推动云 计算在英国国防现代化转型变革中的应用与扩展 Serverless（服务器无感知）、低/无代码为代表的技术能够 屏蔽复杂的底层基础设施，让用户以最低学习成本、最小使用代价 最大化释放云的生产力，实现快速创新。AWS 贯彻全面 Serverless 化战略，提供计算、存储、数据库等全领域的 Serverless 服务。微软 发力低/无代码领域，其发布的 Power Platform 已经与 Office 365、 Dynamics 365 以及 Azure 三大生态充分打通，形成完整的技术生态。 市场数据不明确的领域，只发布头部企业整体情况，不做具体排名。 3 因为 IaaS 和 CDN 是两种业态，需要分别获得互联网资源协作服务业务牌照和内容分发网络业务牌照， 所有 IaaS 不包括 CDN 收入，只统计计算、存储、网络等基础资源服务收入。 云计算白皮书（2023 年） 15 来源：中国信息通信研究院，2023 年 5 月 图 6 2022 年中国公有云 IaaS 厂商市场占比 （三）云计算技术不断推陈出新，满足多样性场景需求

内 存使用量限制，任何违反LimitRange定义的资源使用最大用量的请求都将被直接 拒绝 LimitRange对pod和容器的资源限制为cpu和内存使用量 LimitRange对PVC的资源限制为存储空间的使用量 资源限额只对新创建的资源生效，对于已经存在的对象不产生任何限制 limitrange和resourcequota都是有命名空间之分的 # cat > limitRange-testxx persistentvolumeclaims: "2" #可以创建的pvc总数 requests.storage: 20Gi #可以创建的pvc存储需求存储空间总量限额 EOF # kubectl apply -f resourceQuota-testxx.yaml ★第7章、pod控制器 pod控制器是由kube-c #以下是各转发规则，根据匹配的hostName去转发 - host: "web.xxx.com" h�p: paths: - path: / #若不指定url，则默认就是/根路径，全部转发 backend: serviceName: mynginx-svc servicePort: 1380 - host: "web2

全局管理 10 可观测性 10 应用工作台 11 多云编排 11 微服务引擎 12 服务网格 13 中间件 14 镜像仓库 14 云原生网络 15 存储 17 参考文档 18 版权 © 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 5.0（DCE 5.0）是一款高性能、可扩展的云原生操作系统。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实 现秒级故障定位。 涉及的模块：全局管理、容器管理、可观测性、云原生网络、云原生存储 版权 © 2023 DaoCloud

配额大的占用多，配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列： 不增加队列， 对每个报文直接在正常代码路径上进行决策 ◼Cgroup区分(标记)： 在正常处理流程中，报文查找到目标socket结构之 后，根据socket的owner process来确定cgroup ◼报文决策： 令牌桶 + 共享令牌池 09:33:02 开始pull V8版本的image PS：灰度升级属于原地升级，因此不需要重新过调度，升级的效率 也会提升。 每次升级可以选择要升级的实例个数以及具体哪些(个)实例。 能力扩展：存储场景 物理硬盘 cephFS ceph RBD ceph RBD 权限管理 quota 在线扩容 containe r containe r containe r 本地磁盘 作为资源进行调度 本地磁盘 2类存储，3种场景 本地磁盘：延时低，不可迁移 共享云盘：云存储，多容器共享，同时读写 内置云盘：云存储，每容器独享，用户无感知 云存储 • 支持在线扩容、quota管理、权限管理 • 共享云盘基于cephFS • 内置云盘基于cephRBD • 腾讯内部ceph版本，微信同款 能力扩展：GPU支持 分布式存储Ceph 海量小数据读写优化 不同用户配额管理

openstack kvm docker 镜 像 管 理 弹性伸缩 智能调度 配置管理 健康检查 服务发现 动态dns 负载均衡 容器监控 日志采集 应用监控 节点监控 动态存储 本地存储 网络存储 静态存储 代码检查 代码编译 镜像编译 服务发布 镜像同步 镜像上传 镜像下载 镜像安全 k8s tcp负载 https-http 虚拟主机 服务路由 traefik ingress-nginx v20 dev docker build harbor app-name:2019-0510-1033_v20 push app-name:2019-0510-1033_dev 仓库域名+路径 空间名 应用名称 日期-时间戳 git版本库 镜像完整地址 registry.hz.local/huize ai-test ai-dc-web 20190510-1033 v20 registry 点启动 挂载/data/all-log目录 实时扫描发现新目录日志 logstash通过不同的消费groupid来消费同一 topic互不干扰，日志通过同一topic一分为 二，分别写入es和文件存储 create-path kibana nginx 金丝雀灰度发布 upstream jm-prod.api.svc.cluster.local 80% jm-canaryapi.svc

种子技术来提供。目前最新的 版本是1.16版本。（https://github.com/kubernetes/kubernetes） Kubernetes 的目标旨在消除编排物理/虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放 在以容器为中心的业务上进行自助运营。Kubernetes 也提供稳定、兼容的基础（平台），用于构建定制化的workflows 和更 高级的自动化任务。Kubernetes 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云 Scheduler调度器（kube-scheduler）：负责资源调度（Pod调度）的进程，相当于“调度室”。按照预定的调度策略 将Pod调度到相应的机器上 etcd：集群的数据存储，他存储着集群中所有的资源对象。数据存储采用的是键值对存储。保存了整个集群的状态。 11 www.h3c.com Confidential 秘密 11 11 K8s基本概念和术语介绍（Node） 工作节点（Node/Worker）：