顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 kube-hunter 适用于集群安全检测 仅能检测集群安全性 kubectl-trace

异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 y/kubean.md)、信创 中间件、云原生网络、云原生存储 云边协同 将云原生能力延伸至边缘，采用边缘集群、边缘节点模式，将数据中心算力下移，端 设备算力上移，统一管控和调度离散、异构的计算资源，解决在海量边、端设备上统 一完成大规模应用交付、运维、管控的诉求，实现云边的真正一体化。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、云边协同 版权 © 2023 DaoCloud DaoCloud 第 8 页 云原生底座 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储

自研容器云平台 腾讯大数据云 通用云平台 目录 • 架构简介 • 企业级容器云解决方案 • Next 企业级容器云架构 产品功能 企业级容器云解决方案 企业级 场景 易用 • 全组件自动化部署、统一配置管理、多策略灰度升级 • 提供可视化、自动化的运维能力，降低使用者的人力成本和学习成本 可靠 • 所有组件无单点； • 平台本身支持热升级； • 组件自身HA机制，如docker； • 多地域多可用区的容灾设计 管理机挂掉：对应用无影响 • 计算节点挂掉：跨机迁移 • 健康探针 ① 存活探针 ② 就绪探针 • 负载均衡 • 重启机制 ① 区分异常原因 ② 本地重启/跨机重启 • 黑名单机制 • 集群核心数据的备份和恢复 ① Etcd ② 核心数据库 • 云盘机制保护应用数据 • 举例：1.4升级1.9版本 • Pod Hash发生变化 • Container名称发生变化，点分隔改为了下划线分隔 • 容器标签发生变化 向 到宿主机执行 Amazon 将设备直接挂在到vm中 GPUvm 在Zen的hypervisor层实现了全虚拟化。为了隔离运行在物理 GPU上的多个VM，GPUvm将物理GPU分成几个部分，并将每个 部分分配给单个VM。 NVIDIA GRID 在硬件层面实现GPU虚拟化，每个容器可以绑定一个虚拟GPU NVIDIA Docker 通过将GPU设备及运行时的库转为volume挂载到容器中实现了容

①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 里。如： 主机名 ip地址 k8s-master1.cof-lee .conf文件及系统对外通信网口上配置有 默认路由；根据实际情况添加 # cat >> /etc/resolv.conf <配置selinux，则可关闭SELinux，若对安全性要求较高，则需自行配置 x，若对安全性要求较高，则需自行配置 # sed -i '/^SELINUX/s/enforcing/disabled/' /etc/selinux/config # setenforce 0 #关闭selinux ④ulimit设置 # cat >> vi /etc/security/limits.conf <

0 码力 | 126 页 | 4.33 MB | 1 年前

3

是否可视化⻚页⾯面，部署⻔门槛？ a. 集群如何⽆无缝升级？ b. 集群如何快速扩容？ c. 监控、告警、⽇日志是否完善？ d. 如何进⾏行行快速安全加固？ e. 集群如何进⾏行行备份和恢复？ 1 2 企业在云原⽣生时代的挑战 3 KubeOperator 开源容器器平台的技术优势 KubeOperator 开源容器器平台企业版 KubeOperator 的使命 KubeOperator 是开源的轻量量级 Kubernetes 发⾏行行版，专注于帮助企业规划、部署和运营 ⽣生产级别的 Kubernetes 集群。 计算 ⽹网络 存储 ⽤用途 ⼀一键部署 可视化安装 管理理 备份 伸缩 监控 ⽇日志 Day 0 Day 1 Day 2 规 划 部 署 运 营 升级 在线 / 离线 KubeOperator 的开发团队和运作模式 • 由 Jumpserver OpenStack / FusionCompute 等 Ansible / Terraform CentOS / RHEL / EulerOS 集群规划 集群部署 集群运维 集群升级 集群伸缩 集群备份 应⽤用商店 开源的轻量量级 Kubernetes 发⾏行行版 KubeOperator 的技术优势 按需创建 ⼀一键创建和部署 K8S 集群 按需伸缩 快速伸缩 K8S 集群， 提升资源使⽤用效率

成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 小型设备上运行大语言模型，特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程，以及利用大语言模型驱动的自主代理开发远超简单的问答交互的动态应用。我们也提到一些向量数据库 （包括 Pine Spring 91. Mockery 92. Netflix DGS 93. OpenTelemetry 94. Polars 95. Pushpin 96. Snowpark 评估 97. 基准配置文件 98. GGML 99. GPTCache 100. 语法性别 API 101. htmx 102. Kotlin Kover 103. LangChain 104. LlamaIndex 105 攻击路径分析 试验 攻击路径分析是一种分析和评估潜在攻击路径的安全分析方式，黑客可能按照这些来自组织内系统网络的潜在 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca

月，国务院发布《扩大内需战略规划纲要（2022-2035 年），提出 云计算白皮书（2023 年） 10 要加快建设信息基础设施，推动云计算广泛、深度应用，促进“云、 网、端”资源要素相互融合、智能配置。2023 年 1 月，工业和信息 化部等六部门出台《关于推动能源电子产业发展的指导意见》，明确 指出要加快云计算技术推广应用。2023 年 4 月，工业和信息化部等 八部门发布《关于推进 IPv6 云计算白皮书（2023 年） 20 体系不断完善、技术不断创新。云上系统自带“分布式”属性，各 模块之间依赖关系错综复杂，给服务性能分析、故障定位、根因分 析等带来了诸多困难；云上系统故障率随设备数量的增加而呈指数 级增长，单一节点问题可能会被无限放大，日常运行过程中一定会 伴随“异常”发生；同时，节点分布范围更广，节点数量更多，对 日常运维过程中的日志采集、变更升级等都带来了新的挑战。基于 管理没有跟上企业信息系统的变革，另一方面是因为缺乏资产可见性、 安全配置不当和缺乏运营机制等原因，使得安全防护体系失效、出现 问题难定位。因此，云上安全不仅是技术体系的建设，还需要精细化、 原生化的安全治理。首先，需要企业从战略顶层设计、组织文化上接 受云原生安全理念，变革组织管理和人才培养体系，提倡责任共担和 安全内嵌。其次，正确的安全配置是安全防护的前提，持续的安全运 营才能充分发挥安全效能。

Kubernetes ，提供⾼高可⽤用，在线升 级，⾃自动扩缩，负载均衡，⽇日志查看，资 源监控，等多种功能。 KUN 运维管理理 监控 ⽇日志 权限 分析 集群管理理 版本管理理 配置管理理 链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 定义资源的管理理操作。 ⽤用户不不需要详细理理解具体的 CRD 结构，就可以在 Web ⻚页⾯面上快速 创建⼀一个 Redis 集群，并且可以看到集群⼀一步步创建的过程。同时 还可以对集群进⾏行行配置更更新、删除等操作。 Operator Server Think in Cloud . 北北京 Operator管理理⽆无状态的服务 特性 A. ⽆无状态⽔水平弹缩： ⽀支持动态扩缩容 Monitor Manager 进⾏行行监控； • Prometheus 配置 DeadMansSwitch 规则，实现⼀一个永远触发的告警，Monitor Manager 对其进⾏行行检测，当较⻓长时间没有收到报 警时，说明监控告警系统不不⼯工作了了，发出告警； • Grafana 使⽤用 PVC 进⾏行行配置⽂文件的存储； Think in Cloud . 北北京 KUN应⽤用 接⼊入层

⾯面临的挑战� ➔ Why KubeEdge & 基础架构 & 设备管理理 & 实战� ➔ 后续规划 & 社区贡献 & 技术交流� 边缘计算� 云计算是集中化的，离终端设备（如摄像头、传感器器等）和⽤用户较远，对于实时性要求⾼高的计算需求，把计算放在云上会引起较⻓长的⽹网络延 时、⽹网络拥塞、服务质量量下降等问题。⽽而终端设备通常计算能⼒力力不不⾜足，⽆无法与云端相⽐比。在此情况下，边缘计算应运⽽而⽣生，将云端计算能⼒力力 算应运⽽而⽣生，将云端计算能⼒力力 延伸到靠近终端设备的边缘节点，就近提供服务。边缘计算不不是云计算的替代品，边缘计算减轻了了云计算架构的计算负担，是其补充和延伸。 云边协同才能够最⼤大程度的发挥作⽤用。连上云的边才有强⼤大的能⼒力力和灵活性。连上边的云才有数据引流上云和应⽤用服务落地点。� 边缘计算——快速发展的四⼤大因素� Gartner公布的2019年年⼗十⼤大技术趋势，边缘计算位列 周界检测� 模型和应⽤用推送、应⽤用管理理、边缘设备托管� ⼈人流 监控 模型� 容器器� 容器器� 数据上传� 周界 检测 模型� 边缘计算应⽤用场景——智能家居� ➔ 基于边缘计算打造⾼高效、舒适、安全、便便利利、环保的智能家居环境。� ➔ 云端推送边缘应⽤用，实现应⽤用全⽣生命周期管理理和边缘设备托管。� ➔ 端侧涵盖多种智能设备，边缘侧就近处理理隐私数据，回传必要数据到云端。�

deviations from a standard performance profile Observerbility 日志、系统指标等采集、分析；监控配置与报警；性能 指标收集与分析等等。 Backup & Restore 备份策略、备份方式、恢复方式、备份管理等等。 Disaster Recovery & High Availability Failover/Switchover、多可用区、数据恢复等等。