annotation将任意的⾮识别元数据附加到对象。 客户端可取得此元数据。 将元数据附加到对象 您可以使⽤标签或Annotation将元数据附加到Kubernetes对象。标签可⽤于选择对象并查找满⾜某些条件的对象集合。 相⽐之下，Annotation不⽤于标识和选择对象。Annotation中的元数据可⼤可⼩，结构化或⾮结构化，并且可包括标签 所不允许的字符。 Annotation类似于标签，是键值对映射： Using kubectl（kubectl的使⽤） 在可能的情况下使⽤ kubectl create -f 。这将会 中查找所有 .yaml ， .yml 和 .json ⽂件中查找配置对象，并将其传给 create 命令。 使⽤ kubectl delete ⽽不是 stop 。 delete 具有 stop 功能的超集， stop true ，设置 spec.containers[].volumeMounts[].mountPath 为您希 望显示Secret的未使⽤的⽬录名称。 4. 修改您的镜像和/或命令⾏，以便程序查找该⽬录中的⽂件。 Secret data map中的每个key都将成为 mountPath 下的⽂件名。 以下是⼀个在Volume挂载Secret的Pod： apiVersion: v1

下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列： 不增加队列， 对每个报文直接在正常代码路径上进行决策 ◼Cgroup区分(标记)： 在正常处理流程中，报文查找到目标socket结构之 后，根据socket的owner process来确定cgroup ◼报文决策： 令牌桶 + 共享令牌池 + 显式借令牌 ◼限速方式： ECN标记 + TCP滑窗 + 丢包 腾讯内部ceph版本，微信同款 能力扩展：GPU支持 分布式存储Ceph 海量小数据读写优化 不同用户配额管理 任务带盘迁移 智能拓扑感知 GPU卡拓扑感知 资源访问代价树决策 资源调度算法解决碎片化 异构GPU统一管理 多种调度策略，多租户管理GPU卡 与CPU核自动绑定 支持单机多卡和多机多卡 发表论文：《Gaia Scheduler: A Kubernetes-based

添加一条或多条rules。使用数组管理rules。 • 仅支持随机的调度算法 • kube-proxy代码实现比较简单 • iptables 在linux 已经广泛部署 优势 iptables mode 不足之处 • 控制平面的时间复杂度是O(N^2), 当service达到上千时，修改rule耗时超过半小时。 • 数据平面的时间复杂度是O(N) • 调度算法比较少，仅仅支持random的 • 使用hashtable 管理service • IPVS 仅仅提供了DNAT，还需要借用 iptables+conntrack 做SNAT • 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 S. Taobao IPVS SNAT patch • 复用了IPVS timer来回收eBPF map。避开了eBPF map没有timer的问题 • 继承了IPVS丰富的功能，稳定性。例如调度算法丰富。 • 优势 • 完全绕过了conntrack/iptables • 对内核修改更小 04 性能测试 性能测试踩过的坑 设置测试环境 • 配置一样的cluster，性能可能不同。

项挑战，尤其是在有多个团队参与 不同产品开发的大型组织中。设计系统定义了一系列的设计模式、组件库以及良好的设计和工程实践，以确保 数字产品的一致性。设计系统从过去的企业风格指南演变而来，提供易于查找和使用的共享组件库和文档。通 常，设计系统的风格指南以代码的形式记录并进行版本控制，比简单的文档记录更加清晰且易于维护。设计系 统已经成为跨团队和学科进行产品开发时的标准方法，每当需要新的视觉组件时，团队不用重新发明轮子，因 已提供了基础的可访问性断言，具有可访问性意识的组件测试设计依然能够帮助测试进一步检验屏幕 阅读器和其他辅助技术所需的全量语义元素。 首先，在测试验证元素时，通过 ARIA 角色或者元素的其它语义化属性查找元素，而不采用元素的 test id 或 class 属性。像 Testing Library 的一些测试库甚至已经在文档中推荐了这一实践。其次，不要仅仅测试点击交互，还 要考虑不能使用鼠标或 。我们的团队使用 Orca CLI 来扫描容器镜像 和 IaC 模板，以检测漏洞和配置错误，作为预提交钩子或 CI/CD 工作流的一部分。它还持续监控和扫描容器仓 库（如 AWS ECR），以查找已发布镜像中易受攻击的基础镜像或脆弱的操作系统依赖项。根据我们团队的经验， Orca 提供了从开发到生产的安全状态的统一视图，因此我们将其放入试验阶段。 31. Trino 试验 Trino

kube-proxy 的 負 載 平 衡 器 只 支 援 ROUND ROBIN 演 算 法。ROUND ROBIN 演算法按照成員清單逐一選取成員，如果一個回合完後，便從頭開始下一 輪，如此循環反覆。kube-proxy 的負載平衡器在 ROUND ROBIN 演算法的基礎上 還支援 Session 持續。如果 Service 在定義中指定 Sesssion 持續，則 kube-proxy kube-proxy 將請求轉向該 affinityState 所 指向的後端 Pod。如果本地端記憶體沒有來自該請求 IP 的 affinityState 物件，則按 照 ROUND ROBIN 演算法為該請求挑選一個 Endpoint，並建立一個 affinityState 物件，記錄請求的 IP 和指向的 Endpoint。後面的請求就會綁定到這個建立好的 affinityState 物件上，這就實現了用戶端

制。三是实现高效低碳运行，推动云运营绿色发展。在国家提出碳 达峰、碳中和战略后，云计算绿色发展理念得到持续关注。第一梯 队行业充分响应国家相关低碳环保政策与规范，应用低碳创新技术， 优化算力算法，推动云平台的高效低碳运行和绿色发展。 第二梯队行业上云用云处于成长期，企业上云热度持续攀升， 如工业、交通、医疗等行业。过去几年，我国工业制造、汽车、轨 道交通、医疗等云市场呈现出爆发式增长态势。整体来看，第二梯 基 础设施优势，综合评估算力、网络、存储等复合资源状态，推出能 够提供融合统一调度服务的“算网大脑”，通过实现“算”和“网” 资源的拉通、编排调度层的拆解、标识、感知、映射等能力，结合 调度算法，提供算网融合类的业务支撑。三是分布式云技术推动算 力资源全局调度能力发展，实现算力调度跨域融合。在传统调度方 式中，单一的云平台由于调度范围有限，难以满足算力随取随用的 需求，导致算力资源的全局调度能力受限。随着分布式云的发展， 55%。另一 类企业则通过技术投资形式，补齐战略规划版图。以微软为例，从 2019 年开始其陆续向 OpenAI 投资 130 亿美元，在资金与独家算力 的支持下 OpenAI 得以开展模型训练与算法优化，并逐步对外输出产 品能力，微软将在 Azure、Office 等产品中融合 OpenAI 沉淀的相关 能力，快速提升智能化水平。 四、云计算加速催生算力服务新范式 随着人工智能大模型、全真互联等应用发展，产业对多样性异

服务器器上线注册磁盘信息 etcd 保存的磁盘信息 • 主机信息，⽐比如 node • 状态 : unused , used，cleaning • 其他信息，例例如集群信息 磁盘调度器器 按照调度算法选择节点 创建 ReplicationController 监听 Kubernetes 状态更更新磁盘信息 本地磁盘管理理 Kubernetes node 部署 Agent • 监控服务器器存储状态 磁盘故障处理理 容器器挂载磁盘⽬目录的软连接 本地⽬目录设计 磁盘容错 • 磁盘故障不不可避免 • 快速恢复 服务器器预留留备⽤用磁盘 单盘故障启⽤用备⽤用盘 容错 主机容错 • 优化磁盘调度算法 • 运⽤用 Kafka 机架感知特性 服务注册和客户端 注册 Topic 的集群信息 • Broker, Zookeeper • Status 是否启⽤用 客户端 • 业务易易⽤用

------- wiki AI 具体应用场景 机器学习 vs 深度学习 • 机器学习是指通过算法，对数据进行分析，最终得出判断。 • 深度学习是指通过人工神经网络，通过对数据进行分析学习， 最终得出判断。 • 机器学习最难的地方在于特征的提取，而深度学习认为特征 提取是可以通过人工神经网络学习而得出结论的。深度学习 TaaS 主要功能 – 项目管理 TaaS 主要功能 – 项目精准度分析及汇总 TaaS 主要功能 – 模型训练 TaaS 主要功能 – 模型上线服务 TaaS 主要功能 – AI 算法库

点击策略配置 点击添加策略 4. 配置 Haproxy 负载均衡 79 填写 Haproxy 策略名称 -> 选择 HTTP 类型 -> 填写上述暴露的 NodePort -> 选择负载均衡算法 -> 添 加服务器（集群的⼯作节点）-> 点击确认 备注：将上述暴露的 NodePort：30080 端⼝在 Haproxy 策略中打开，这样可以通过 HaproxyIP:NodePort 即可访问集群内的服务，同时实现负载均衡 Haproxy 策略配置上述 Ingress 与服务映射的 80 端⼝ 92 填写 Haproxy 策略名称 -> 选择 HTTP 类型 -> 填写上述暴露的 NodePort -> 选择负载均衡算法 -> 添 加服务器（集群的⼯作节点）-> 点击确认 93 查看集群的 Haproxy 服务的外⽹和内⽹ IP 7. 访问 Wordpress 94 本机配置 hosts 域名解析 1

Unable to find default route 原因是没有找到有效的网卡，因为默认没有在kube-flannel.yml指定vxlan使用的 底层网络接口，所以它根据ip route show去查找default via这行的网卡（有默认 路由的网络接口），但我们测试环境的服务器没有配置网关，所以它找不到默 认路由，导致flannel启动失败 解决方法是给服务加个网关（默认路由）或者在kube-flannel com/chartmuseum/helm-push 离线安装方式： # helm env | grep HELM_PLUGINS #查看helm环境变量，查找helm插件 路径 HELM_PLUGINS="/root/.local/share/helm/plugins" h�ps://github.com/chartmuseum/helm-push查看版本，并下载到本地，上传到服