启⽤API组 默认情况下，某些资源和API组已被启⽤。可通过在apiserver上设置 --runtime-config 来启⽤或禁⽤它们。 -- runtime-config 接受逗号分隔的值。例如：要禁⽤ batch / v1 ，请设置 --runtime-config=batch/v1=false ；想启 ⽤ batch/v2alpha1 ，可设置 --runtime-config=batch/v2alpha1 gress、Jobs和ReplicaSets都被启⽤。可通 过在apiserver上设置 --runtime-config 来启⽤其他扩展资源。 --runtime-config 接受逗号分隔值。 例如：要禁⽤ Deployments和Ingress，可设置 --runtime-config=extensions/v1beta1/deployments=false,extensions/ --record 将会输出类似如下的内容： deployment "nginx-deployment" created 必填字段 在Kubernetes对象的 .yaml ⽂件中，您需要为以下字段设置值： apiVersion ——指定Kubernetes API的版本 kind ——你想创建什么类型的对象 metadata ——有助于唯⼀标识对象的数据，包括 name 字符串，UID和可选的

最后修改k8s配置，使用cri-dockerd.sock # vi /var/lib/kubelet/kubeadm-flags.env #修改--container-run�me-endpoint= 的值为新的cri socket #KUBELET_KUBEADM_ARGS="--container-run�me- endpoint=unix:///var/run/containerd/containerd 路由的网络接口），但我们测试环境的服务器没有配置网关，所以它找不到默 认路由，导致flannel启动失败 解决方法是给服务加个网关（默认路由）或者在kube-flannel.yml里指定vxlan绑 定的网卡设备（不建议直接绑定网络接口名，因为不同的服务器接口名称可能 不一样，可匹配ip网段所在的网络接口） # kubectl delete -f kube-flannel.yml #先删除旧的部署 xxx时，它就真的被删除 了，不会重新拉起一个新的pod，建议使用pod控制器去创建pod ★给目标node打标签 # kubectl label nodes node名称 标签名=标签值 # kubectl label nodes k8s-node01 cputype=i7-9700k #给指定的node结点打 标签 # kubectl label nodes

K8s基本概念和术语介绍（Pod） Pod： pod分两种：普通pod和静态pod（static pod） 普通pod：一旦被创建，会被放到etcd中存储，随后被k8s master调度到某个具体的node上并进行绑定，随后该pod被 对应的node上的kubelet进程实例化成一组相关的docker容器并启动起来。默认情况下，当pod中的某个容器停止时， K8s会自动检测到这个问题并重新启动这个pod（重启po 静态pod：不存储在etcd中，而是存放在某个具体的node上的一个具体文件中，并只在此node上启动运行。 每个pod可以设置限额，目前可以设置CPU和内存，cpu的单位为core的数量， 是一个绝对值而不是相对值。k8s中是以千分之一为最小单位，一般一个pod 设置为100m到300m，也是就是0.1-0.3个cpu。内存是以MB为单位 k8s设置2个参数： requests:该资源的最小申请量，系统必须满足的要求 Kubernetes，API 对象已 经被创建并保存在 Etcd 当中。但是，这个 Pod 里有些容器因为某种原因而不能被顺利创建。比如，调度不成功。 2.Running。这个状态下，Pod 已经调度成功，跟一个具体的节点绑定。它包含的容器都已经创建成功，并且至少有一个正 在运行中。 3.Succeeded。这个状态意味着，Pod 里的所有容器都正常运行完毕，并且已经退出了。这种情况在运行一次性任务时最 为常见。 4

3 秒。 检查间隔（秒）：即 periodSeconds，指执⾏检查的时间间隔，默认为 10 秒，最⼩为 1 秒。 不健康阈值：探测成功后，最少连续探测失败多少次才被认定为失败。默认是 3，最⼩值是 1。 TCP 即向容器发送⼀个 TCP Socket，kubelet 将尝试在指定端⼝上打开容器的套接字。 如果可以建 ⽴连接，容器被认为是健康的，如果不能就认为是失败的。⽀持的参数包括： 秒，最⼩为 1 秒。 超时时间（秒）：即 timeoutSeconds，探测超时时间。默认 1 秒，最⼩ 1 秒。 不健康阈值：探测成功后，最少连续探测失败多少次才被认定为失败。默认是 3，最⼩值是 1。 命令⾏ 通过在容器中执⾏探针检测命令，来检测容器的健康情况。⽀持的参数包括： 命令⾏：⽤于检测容器健康情况的探测命令。 延迟探测时间（秒）：即 initialDelaySecond 秒，最⼩为1 秒。 超时时间（秒）：即 timeoutSeconds，探测超时时间。默认 1 秒，最⼩ 1 秒。 不健康阈值：探测成功后，最少连续探测失败多少次才被认定为失败。默认是 3，最⼩值是 1。 26 iii. 完成容器配置后，单击下⼀步。 iv. 进⾏⾼级设置。 可选：⽔平伸缩。您可勾选是否开启⽔平伸缩，为了满⾜应⽤在不同负载下的需求，容器服务

采纳：我们强烈主张业界采用这些技术。我们会 在适当时候将其用于我们的项目。 试验：值得追求。重要的是理解如何建立这种能 力，企业应该在风险可控的项目中尝试此技术。 评估：为了确认它将如何影响你所在的企业，值 得作一番探究。 暂缓：谨慎推行。 新的 挪进 / 挪出 没有变化 雷达一览 技术雷达持续追踪有趣的技术是如何发展的，我们将其称之为条目。在技术雷达中，我们使用象限和环对其进 行分类，不 ETL 流程或开发工作流中使用 Lokalise API 来翻译可本地化的内容。 Lokalise 支持多种文件格式的可本地化字符串。一个值得强调的方面是它 支持上传整个文件，其中每个键 - 值对都被视为单独的记录并被翻译。在底层，我们利用了 Lokalise 与 Google MT 的集成来处理翻译。 Lokalise 的 Web 界面提供了便捷的访问方式，供人工审阅员验证翻译结果，或者根据 据合并为排放量估算值，并提供随时间变化的数据可视化。云提供商已经开始在其平台上添加类似产品，但是 一些企业仍在部署 CCF，因为它具有以下所有功能：它是开源的，可扩展的，能跨多云工作，并且有一个透明 公开的计算方法。此外，它还包括范围 2 和范围 3 排放的估算，分别针对电力使用和硬件生产。在我们的实验 中，不同工具的估算结果不尽相同，这并不奇怪，因为该领域的所有工具都会进行估算，并将估算值相乘。然

BinPacking Problem K8S的调度原理 K8S的调度原理 调度器调度⼀个 Pod 的过程分为两个阶段：调度周期 和 绑定周期 调度周期 • 选择符合条件的Node （硬性选择） • 给Node打分 （软性选择） 绑定周期 • 向binding接⼝发送Post请求，把结果告诉k8s
 基于CPU实时使⽤率的调度器 借助Scheduling

目标一：一个面向用户，应用为中心 CI/CD 流水线 应用 扩容策略 发布策略 分批策略 访问控制 流量配置 Pod Deployment Service Node Custom Resource 业务运维 业务研发 按需绑定 关键词：用户友好，应用层语义和抽象 平台工程师 Controller 目标二：一个高可扩展的应用管理平台 关键词：可插拔，可扩展，模块化，没有抽象程度锁定 应用 Deployment Workload 与 Trait 注册与发现机制 # 示例：将 Istio VirtualService 注册为平台 的流量管理能力 示例: 使用 OAM 模型管理应用 1. 创建应用组件 2. 绑定运维特征 3. 应用部署成功 示例：手动扩容策略 示例：容器化工作负载 查看完整演示 Scale: - 10,000 nodes/cluster - 100,000 apps/cluster

海量小数据读写优化 不同用户配额管理 任务带盘迁移 智能拓扑感知 GPU卡拓扑感知 资源访问代价树决策 资源调度算法解决碎片化 异构GPU统一管理 多种调度策略，多租户管理GPU卡 与CPU核自动绑定 支持单机多卡和多机多卡 发表论文：《Gaia Scheduler: A Kubernetes-based Scheduler Framework》 The IEEE ISPA 2018 (16th 在Zen的hypervisor层实现了全虚拟化。为了隔离运行在物理 GPU上的多个VM，GPUvm将物理GPU分成几个部分，并将每个 部分分配给单个VM。 NVIDIA GRID 在硬件层面实现GPU虚拟化，每个容器可以绑定一个虚拟GPU NVIDIA Docker 通过将GPU设备及运行时的库转为volume挂载到容器中实现了容 器与驱动的解耦。但是一个GPU设备仅能挂载到一个容器中，不 支持容器间共享GPU设备

Viking agent Container Container Kernel Containerd 创建/删除Pod 上报Pod状态 Pod状态逼近 创建/删除SLB 节点绑定、路由规则变更 创建/删除DNS Entry 与云平台深度集成 ECI Viking agent Pod Container Container Containerd

OpenStack里MySQL Galera 集群高可用 Ø问题 Ø异步多主多活情况下会出现数据 不一致 Ø同步多活情况下容易出现死锁 Ø解决方案 Ø改成同步一主两备模式 Kubernetes的PVC绑定问题 Ø问题 ØPVC每次申请PV都会占用所有 PV容量 Ø解决方案 Ø对Kubernetes的PV起初理解偏 差，PVC的设计就是占用整个PV Ø要对每个用户PVC单独开辟PV Magnum创建baymodel失败