顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • Kernel 仅能检测 Kernel 相关问题 要求熟悉 bpftrace 语言 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 我们的目标 实现 Kubernetes 集群异常检测框架 支持集群多维度异常检测能力 支持集成开源检测组件 检测框架 Ver.1 { 自动化 Ver.1 自动化 Autopilot Engine Command Policy 边缘集群、GPU 集群 各类检测场景 • 节点、组件、配置等 • 集群升级、集群巡检 版本差异 * 类型差异 * 场景差异 检测项 Ver.1 优化点 检测代码在膨胀 检测能力迭代需要加速 检测框架 Ver.2 { 动态定制 动态扩展 Ver.2 DSL DSL (Domain-Specific Language) • 领域特定语言指专注于某个应用程序领域的计算机语言 • 目标受众为非程序员、业务员或最终客户

使得许多其他系统可以构建在Kubernetes上。 Kubernetes不是什么？ Kubernetes不是⼀个传统的，全⾯的PaaS系统。 它保留了⽤户的重要选择。 Kubernetes： 不限制⽀持的应⽤类型。不规定应⽤框架（例如 Wildfly ），不限制⽀持的语⾔运⾏时（例如Java，Python， Ruby），不局限于 12-factor applications ，也不区分应⽤程序和服务 。 Kubernetes旨在⽀持各种各样的⼯作负 Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes Openshift 、 Deis 、Eldarion 等。 您也可实现⾃⼰的定制 PaaS，与您选择的CI系统集成，或者仅使⽤Kubernetes部署容器。 由于Kubernetes在应⽤层⾯⽽⾮硬件层⾯上运⾏，因此它提供了PaaS产品通⽤的功能，例如部署，扩展，负载均衡， ⽇志和监控。然⽽，Kubernetes并不是⼀个单体，这些默认解决⽅案是可选、可插拔的。 另外Kubernetes不仅仅是⼀个编制系统

Inc. All Rights Reserved. 2 关于技术雷达 3 雷达一览 4 贡献者 5 本期主题 6 本期雷达 8 技术 11 平台 19 工具 25 语言和框架 36 Thoughtworks 技术雷达 © Thoughtworks, Inc. All Rights Reserved. Thoughtworks 技术雷达 关于技术雷达 Thoughtworker 论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质，把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限，我们选择看起来最合适的 一个。我们还进一步将这些技术分为四个环以反映 我们目前对其的态度。 想要了解更多技术雷达相关信息，请点击： thoughtworks 年就撰写了有关此主题的文章，但问题并没有消失。在 这期雷达中，我们讨论了许多现代工具和技术，它们采用更加细致入微的方法来衡量软件的创造过程，但这仍 然不够。幸运的是，业界已经不再使用代码行数作为产出衡量标准。然而，衡量框架 SPACE 中 A（Activity，活 动）的替代方法，例如拉取请求的数量或已解决的问题的数量，仍然不足以成为衡量生产力的良好指标。相反， 行业已经开始关注“工程效能”：我们不应该衡量生产力

涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非侵入式流量治理功能，支持无感接入传统微服务、云原生微服务和开源微服务 框架，实现企业现有微服务体系及新旧微服务体系的融合治理，支持微服务从开发、 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 ➢ 提供开箱即用的告警规则 ➢ 支持自定义指标、日志等告警 ➢ 支持灵活的配置告警级别、阈值、通知对象等 ➢ 提供邮箱、企业微信、钉钉、Webhook 等多种通知方式 ➢ 持久化存储指标、日志、链路数据 应用工作台 应用工作台是基于容器的 DevOps 云原生应用平台，提供了 DCE 5.0 应用创 建的统一入口，通过界面化表单创建多种流水线、GitOps、金丝雀、蓝绿、AB Service Mesh 两类云原生微服务注册中心。 版权 © 2023 DaoCloud 第 13 页 微服务流量治理 在流量治理层面，采用线上流量治理方案，可以快速与主流开源微服务框架集 成，用 Sentinel 和 Mesh 解决不同生产情况下的痛点。 ➢ 支持通过 Sentinel 使用流控、熔断降级、热点、系统、授权、集群流控等规则治理传 统微服务的东西向流量。 ➢

⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 统⼀一代码管理理 统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN 公共服务 存储平台 Think in Cloud . 北北京 基于RBAC实现 账号管理理隔离 01 IPv6 02 Operator管理理有 Think in Cloud . 北北京 KUN应⽤用 接⼊入层 • 负载均衡通过service实现 计算层 • 具体计算任务由pod完成 • 常驻型pod通过k8s deployment管理理，保证计算实例例⾼高可⽤用 • ⾮非常驻型pod通过k8s job管理理 存储层 • Pod内挂载PVC，⽤用于存储持久化的数据 • 通过StorageClass实现⾃自动管理理存储卷 保证互不不冲突。 • 公有云上underlay模式cni插件已经实现 • 托管区underlay模式cni插件可有以下⼏几种⽅方法实现： A. 基于⾃自定义路路由 B. 基于⼆二层bridge 共有云 托管云 UK8S Master ⽹网关 CNI-VPC CNI-VPC CNI-VPC Node A Node B Node C Node C Node D Node E

间文件共享的问题。 k8s为每一个pod都分配唯一的IP地址，称之为pod ip，一个pod中的多个容器共享 pod ip地址。k8s要求底层网络支持集群内任意两个pod之间网络通信，采用虚拟二 层技术实现，比如flanne、calico、ovs。k8s中，一个pod的容器与另外主机上的pod 容器能够直接通信。 13 www.h3c.com Confidential 秘密 13 13 K8s基本概念和术语介绍（Pod） Pod IP是每一个Pod的IP，他是Docker Engine根据docker0网桥的IP地址进行分配的，通常是一个虚拟的二层网络。 k8s位于不同Node上的Pod能够直接通信，所以k8s里的一个Pod里面容器访问另一个Pod里面的容器，就是通过Pod IP 所在的虚拟二层网络实现通信的，而真实的TCP/IP流量则是通过Node IP所在的物理网卡流出的。 Cluster IP：他也是一个虚拟的IP，更像一个“伪造”的IP地址。 26 www.h3c.com Confidential 秘密 26 26 K8s基本概念和术语介绍（PV和PVC） Persistent Volume，PV（持久存储卷）和 Persistent Volume Claim，PVC（持久存储卷声明）： PV和PVC使得K8s集群具备了存储的逻辑抽象能力，使得在配置Pod的逻辑里可以忽略对实际后台存储技术的配置， 而把这项配置的工作交给PV的配置

a) 在容器服务菜单下，单击左侧导航栏中的应⽤>有状态，选择所需的命名空间（默认为deafult）， 然后单击⻚⾯右上⻆的创建。 应⽤场景 说明 稳定的持久化存储 基于PVC实现数据的持久化存储，即Pod重新调度后还是能访问到相同的持久化数 据 稳定的⽹络标志 基于Headless Service（即没有Cluster IP的Service）来实现，即Pod重新调度后 其PodName和HostName不变 选择集群和命名空间，选择所需的路由（本示例中选择hello），单击右侧的移除。 3.在弹出的对话框中点击确认，即可删除路由。 53 Prometheus是⼀套开源的系统监控报警框架，它具有灵活的数据模型：监控数据由值、时间戳、标签；源 数据记录在标签中，⽀持采集时对标签进⾏修改，从⽽使得其具有强⼤的扩展能⼒。 说明：集群创建后监控服务需要⼿动开启，开启过程如下： 1.

在单一系统的内核层通过一套 API 在应用层提供硬件及软 件环境隔离的 Linux 环境（containers 。在内核层，通过 cgroup 来提供硬件环境的隔离（例如 CPU，Memory， Block I/O，网络等等 和通过 namespace 来提供软件层面 的隔离（例如 process tree，网络，user IDs 和挂载的文件 系统 。 Container 框架 通过在 Kernel kube-controller-manager • kube-apiserver • kube-scheduler Kubernetes 与 Container 通信框架 Kubernetes 通过 CRI (Container Runtime Interface) 层将 Kuernetes 与具体的 Container 管理工具隔离，并且可以进行 Container 的操作。 在 Node 上的层次关系 • 机器学习最难的地方在于特征的提取，而深度学习认为特征 提取是可以通过人工神经网络学习而得出结论的。深度学习 在非结构化数据方面有很大的优势。 卷积神经网络 - CNN 通过卷基层和池化层的网络结构进行不断的对图像的特征提取 数组运算并行化 – CUDA by Example 将数组 a 和数组 b 相加并将计算结果放入数组 c 中。 数组运算并行化 – CUDA by Example

= 1 net.bridge.bridge-nf-call-arptables = 1 net.ipv4.ip_forward = 1 EOF #前3行表示bridge设备在二层转发时也去调用iptables配置的三层规则（包含 conntrack） # sysctl -p #加载配置 ⑧防火墙放行端口 TCP: 6443，2379，2380 pod都有一个ip，直接使用pod ip可以互相访问，但随着pod漂 移到其他node或pod重启后，其ip是会变的，不固定。底层使 用flannel时，pod容器的网络是封装在vxlan里，整个集群的 pod网络处于一个大二层overlay环境里 Cluster-ip Service网络，Cluster-IP用于集群内各服务互相访问的，因为 pod ip是会随pod的漂移而改变，所以需要一个固定的ip便于集 群内互访，是 no #可见k8s服务器上只有2个网桥，一个名为cni0，是k8s的pod网络用的，本k8s服 务器上的所有pod的网卡都连通到这个网桥里，即同一台k8s服务器上的所有pod 容器处于同一个二层广播域 ★k8s服务器上的各网卡关系图 [root@k8s-node01 ~]# ip route #查看k8s node结点上的路由表 default

我大道至简海纳百川 不求最好，但求最贵 优秀还便宜 你真的需要虚拟机？真的需要 IaaS 层？ PaaS SaaS 有本质区别？鸭式辩型忘记了？ 云里面，一切皆应用才是王道。 系统架构与设计理念 通用的系统管理入口 所有应用自由安装卸载 极简、高内聚、高度抽象 提供最基础的核心能力 容器管理、编排调度、资源隔离 驱动层实现资源抽象 自由切换，到处运行 Sealos API Sealos CLI 使用 terraform 大概 3min，而 sealos 只需要 30s，不能 怪 terraform 某些底层 driver 写的不好 云驱动层 01 对接 firecracker cilium openebs 等技术 无性能损失的网络层计量 与隔离 rust 自研分布式文件系统 sealfs 直接对接 rustvmm 绕 开 fuse 02 client manger manger 绝大多数能力通过 CRD 扩展，以保持与 kubernetes API 完全兼容。 可以复用 k8s API 的强大能力， 而且生态的各种 SDK 可以直 接使用。 推荐使用 kubebuilder 框架去生 成很多代码。 权限限制 禁止掉所有用户越权操作，如查看主机 namespace 共享主机端口，共享主机文件系统等操作 以保障多租户之间相互共享一个集群是安全的 User Namespace