API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 网络动态异常巡检 • 全链路网络异常收集 • 通过 ebpf 追踪丢包调用栈 Pod Node eth0 eth0 VPC 容器内配置错误 Iptables、路由配置错误 网卡、驱动配置错误 安全组配置错误 VPC 转发配置错误 Autopilot Engine 诊断任务 网络检测 Conntrack 采集 网卡丢包事件 所有包采集 Flow 采集 ebpf

攻击路径分析 试验 攻击路径分析是一种分析和评估潜在攻击路径的安全分析方式，黑客可能按照这些来自组织内系统网络的潜在 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 方面有很好的体验，建议您评估该平台是否适用于协作翻译工作流程。 30. Orca 试验 Orca 是一个专有的云安全平台，用于识别、优先级排序和修复安全风险和合规问题。它支持主流的云提供商和 混合设置。Orca 拥有广泛的安全查询和规则，以持续监控已部署的工作负载，检测配置错误、漏洞和合规性问 题。它支持云虚拟机、无服务器函数、容器以及已部署工作负载的 Kubernetes 上部署的应用。这些内置的安 由于 Orca 无需代理，因此提供了良好的开发者 体验，并且易于设置。另一个显著的特点是它促进了安全的左移。我们的团队使用 Orca CLI 来扫描容器镜像 和 IaC 模板，以检测漏洞和配置错误，作为预提交钩子或 CI/CD 工作流的一部分。它还持续监控和扫描容器仓 库（如 AWS ECR），以查找已发布镜像中易受攻击的基础镜像或脆弱的操作系统依赖项。根据我们团队的经验， Orca 提

详细描述了每个级别的标准。概括如 下： Alpha级别: 版本名称包含 alpha （例如 v1alpha1 ） 05-Kubernetes API 18 可能有⼀些bug，启⽤该功能可能会显示错误。 默认禁⽤ ⼀些功能可能随时会被废弃，恕不另⾏通知 API可能会以不兼容的⽅式更改，恕不另⾏通知 建议仅在短期测试集群中使⽤，因为增加了bug带来的⻛险，⽽且缺乏⻓期⽀持 Beta级别: 在节点维护 的情况下。 ⼀般来说，⽤户⽆需直接创建Pod。他们⼏乎总是使⽤Controller（例如 Deployment ），即使是创建单个Pod时。 Controller提供集群范围的⾃我修复、复制和升级管理。 集体API作为⾯向⽤户的语⾔的⽅式，在在集群调度系统中相对⽐较常⻅，包括 Borg 、 Marathon 、 Aurora 以及 Tupperware 都采⽤这种⽅式。 Pod被暴露为原始API，以便于： Failed：Pod中的所有容器都已终⽌，并且⾄少有⼀个容器已终⽌失败。也就是说，容器以⾮零状态退出或被系统 终⽌。 Unknown：由于某种原因，⽆法获得Pod状态，通常是由于与Pod所在主机通信时出现错误。 Pod Condition Pod有⼀个PodStatus，它有⼀个PodConditions 数组。 PodCondition数组的每个元素都有⼀个 type 字段和⼀ 个 status

Failover/Switchover、多可用区、数据恢复等等。 Security & Compliance 访问控制、审计、安全链接、加密存储等等。 Patching & Upgrades 小版本升级、大版本升级、安全漏洞修复等等。 Data Migrations 迁移、同步、清洗、跨地域、灾备、多活等等。 DB Operator Day-2 Operations Operator 基础模型 第二部分 K8s 只应该是 Update 或 Delete 两种 Action，但 因本地无 cache，所以 Update 实际变成了 Create，执行时会报“StatusReasonAlreadyExists”错误，与预期不符； Delete 实际不会生成，意味着操作丢失，与预期不符。 当 u-lag 时，API Server 与 cache 中都有该对象，但版本不同。此时 Plan 只应该是 Update 或 只应该是 Create 一种 Action，但因 cache 中有该对象，所以 Create 变成了 Update，执行时会报“StatusReasonNotFound”错误；当新 Spec 中无该对象时， Plan 会错误生成 Delete Action，执行时同样会报对象不存在错。 根据上述分析，stale cache 确实会有问题，如何补救？先看一个 stale 对象。 如下图所示，某个版

kflows 和更 高级的自动化任务。Kubernetes 具备完善的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 机制、多粒度的资源配额管理能力。 Kubernetes 还提供完善的管理工具，涵盖开发、部署测试、运维监控等各个环节。 5 www.h3c.com Confidential 秘密 55 Kubernetes基础结构介绍 Kubernetes特性： 自动装箱：构建于容器之上，基于资源依赖和其他约束自动完成容器部署。 自我修复：容器故障后自动重启、节点故障后重新调度容器，以及容器自我修复机制。 水平扩展：通过简单明了实现水平扩展，基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载, 可组合 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展

Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 问题：每种开源组件的配置、调用方式、debug方式、记录日志方式都不一样 微服务的开发阶段 问题：gRPC未设置连接错误，阻塞模式报错不正确 Redis、MySQL连接数配置未设置？超时未设置？ 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • • 调试gRPC • 调试信息 • 错误定位 // FailOnNonTempDialError only affects the initial dial, and does not do // anything useful unless you are also using WithBlock(). 默认补齐配置，给出最佳实践 微服务的开发阶段 IDE的体验，右键插入资源引用，悬停查看资源信息 IDE的体验，右键插入资源引用，悬停查看资源信息 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 配置版本，发布，回滚，可以更加方便 微服务的开发阶段 统一采用gRPC协议和protobuf编解码 CI check 阶段 • 主要做 pb 的 format、lint、breaking 检查。 CI build

--service-cidr=10.7.0.0/16 \ # service网段，即cluster ip网段 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误 --image-repository="cof- lee.com:5443/k8s" #指定为集群内部的docker镜像源 如果指定使用集群内部的docker镜像仓库，要提前在docker的daemon --service-cidr=10.7.0.0/16 \ # service网段，即cluster ip网段 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误 --image-repository="cof- lee.com:5443/k8s" #指定为集群内部的docker镜像源 如果指定使用集群内部的docker镜像仓库，要提前在containerd的配置文件里配 --control-plane- endpoint=10.99.1.54:6443 \ #指定控制面板vip与端口号 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误 --upload-certs #将控制平面证书上传到kubeadm-certs Secret；并在后续添加节点时自动分发证 书文件 ★使用配置文件方式去初始化集群（和上面命令行方式二选一）

保障的建设成效。人工智能和机器学习技术将在系统稳定性保障技 术体系中发挥越来越重要的作用，并进一步提升落地成效。通过对 云计算白皮书（2023 年） 21 数据进行智能分析，可以实现故障预测、自动诊断、场景演练和自 动修复；结合人工智能大模型，指导知识库和专家系统进行更多维 度分析预测，从而提高系统的稳定性和可靠性。 安全层面，云原生革新云上软件架构与应用模式，加速云安全向 云原生安全演进。云原生经过多年发展，已实现全行业高质量规模化

pod host Node pod host Endpoints Targets Data 监控维度: • 宿主机 • 容器 • 应用 • 业务 业务采集指标: • 访问量 • 错误率 • 调用耗时 • 饱和度 数据采集方式: • Push：非标 • Pull： • Filebeat扩展 数据存储方式: • OpenTSDB • Prometheus • ES

逻辑写的有问题，造成线程池满，客户端调用失败。 场景二：某应用运行过程中，某几台机器由于磁盘满，或者是宿主机资源争抢导致load很高，客户端出现调用超时。 客户端摘除 • 实时性高 • 需要关注错误率阈值、隔离机器的比 例阈值，及被摘除后恢复时间 • 更灵活的摘除策略：调整权重 应用A 应用B 应用C 应用D 全局摘除：监管控一体 • 维度更加丰富 摘除后动作 • 弹性扩容替换故障机器