顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • Kernel 仅能检测 Kernel 相关问题 要求熟悉 bpftrace 语言 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 我们的目标 实现 Kubernetes 集群异常检测框架 支持集群多维度异常检测能力 支持集成开源检测组件 检测框架 Ver.1 { 自动化 Ver.1 自动化 Autopilot Engine Command Policy 边缘集群、GPU 集群 各类检测场景 • 节点、组件、配置等 • 集群升级、集群巡检 版本差异 * 类型差异 * 场景差异 检测项 Ver.1 优化点 检测代码在膨胀 检测能力迭代需要加速 检测框架 Ver.2 { 动态定制 动态扩展 Ver.2 DSL DSL (Domain-Specific Language) • 领域特定语言指专注于某个应用程序领域的计算机语言 • 目标受众为非程序员、业务员或最终客户

本期雷达 8 技术 11 平台 19 工具 25 语言和框架 36 Thoughtworks 技术雷达 © Thoughtworks, Inc. All Rights Reserved. Thoughtworks 技术雷达 关于技术雷达 Thoughtworker 酷爱技术。我们致力于建造技 术，研究技术，测试技术，开源技术，书写技术， 并不断改进技术。支持卓越软件并掀起 IT 论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质，把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限，我们选择看起来最合适的 一个。我们还进一步将这些技术分为四个环以反映 我们目前对其的态度。 想要了解更多技术雷达相关信息，请点击： thoughtworks 年就撰写了有关此主题的文章，但问题并没有消失。在 这期雷达中，我们讨论了许多现代工具和技术，它们采用更加细致入微的方法来衡量软件的创造过程，但这仍 然不够。幸运的是，业界已经不再使用代码行数作为产出衡量标准。然而，衡量框架 SPACE 中 A（Activity，活 动）的替代方法，例如拉取请求的数量或已解决的问题的数量，仍然不足以成为衡量生产力的良好指标。相反， 行业已经开始关注“工程效能”：我们不应该衡量生产力

监控采集 资源隔离 故障转移 资源调度 权限控制 标准统一 运维简单 框架简单 编译 部署 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 编译 部署 2014年6月K8S开源 微服务的生命周期 第二部分 微服务的生命周期 开发 测试 部署 启动 调用 治理 微服务的开发阶段 配置 对接 Debug • 配置驱动 错误码管理 • 调试gRPC • 调试信息 • 错误定位 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 • 单元测试 • 本地docker-compse • 提交代码，触发gitlab ci • 接口测试 • 接口平台 • 性能测试 • benchmark • 全链路压测 • 集成测试 • 以前gitlab ci，docker in docker • 目前结合配置中心拓扑图，自动生成jekins编排，ing 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 protoc --proto_path=${ROOT}/examples/helloworld --go-test_out=pkg=main,paths=source_relative:. helloworld.proto • 业务代码中不要有框架、组件代码，减少单侧用例 • 业务代码做好接口级别单测，简单，快速

DevOps过程中的安全问 题 项⺫管理 快速迭代开发，更短的发布周期， 并统⼀流程，规范化管理 持续交付 提⾼部署的效率，降低部署的⻛ 险，提⾼部署的质量，消除部⻔ 壁垒，交付过程标准化， 透明化 持续构建与测试 保障代码质量，提升开发效率 知识共享 知识共享与积累，不断完善，持 续学习改进 认证与改进 持续优化， 形成闭环 运维监控 运⾏状态可视化，数据化，降低 部署⻛险，快速反馈 运营统计 镜像仓 库 测试管 理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实 践 测试管理 功能测 试 性能测试 接⼝测 试 产出物管 理 持续构建与测试 ⾃动部 署 配置管理 配置管理 环境管 理 数据库变 更 运维监 控 通知反馈 部署策 略 持续交付 ⼯具链 最佳实践 测试管理 规范 流⽔线建设 规范 敏捷开发 规范 流程协作与最 佳实践 项⺫管理 进度 管理 范围 管理 质量 管理 ⼈⼒ 管理 ⻛险 管理 沟通 管理 知识共享 知识 库建 设 ⽂档 协作 学习培训体系 培训规划建设 平台培训 ⼯具培训 培训效果评估

资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 调用链 SLA指标 日志关联分析 异常预警 故障回溯 软件开发服 务 DevCloud 云性能测试 CPTS PaaS IaaS 开发测试 统一编排 自动化部署、微服务注册发现与治理、中间件运行环境 智能运维 开放网关APIG 应用 函数计算 FunctionStage FunctionGraph 4 5个maintainer，commits 3144  CNCF初创成员，国内唯一白金会员  K8S社区技术指导委员会13席位之一，国内唯一  首批KSCP认证厂商之一  主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  CNCF/OCI基金会的初创会员、白金会员， K8S TOC 成员，12个 Maintainer 8 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 多样的生态接入 • 支持多语言多框架服务接入 • 支持第三方模板和镜像快速部署 完全开放的原生平台 • 紧跟Kubernetes和Docker社区，迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 •

持续开发，集成和部署 ：通过快速轻松的回滚（由于镜像的不可变性）提供可靠且频繁的容器镜像构建和部署。 Dev和Ops分离问题 ：在构建/发布期间⽽⾮部署期间创建镜像，从⽽将应⽤程序与基础架构分离。 开发、测试和⽣产环境⼀致 ：在笔记本电脑运⾏与云中⼀样。 云和操作系统可移植性 ：可运⾏在Ubuntu、RHEL、CoreOS、内部部署，Google Container Engine以及任何其他 地⽅。 使得许多其他系统可以构建在Kubernetes上。 Kubernetes不是什么？ Kubernetes不是⼀个传统的，全⾯的PaaS系统。 它保留了⽤户的重要选择。 Kubernetes： 不限制⽀持的应⽤类型。不规定应⽤框架（例如 Wildfly ），不限制⽀持的语⾔运⾏时（例如Java，Python， Ruby），不局限于 12-factor applications ，也不区分应⽤程序和服务 。 Kubernetes旨在⽀持各种各样的⼯作负 Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes

基于Kubernetes平台概览与架构 • 基于Kubernetes的应用部署最佳实践� • 服务在混合云上的部署架构与演示 • 基于Consul的混合云服务发现与演示 • 应用在混合云上的端到端测试方案 • 后续工作展望 公司与项目背景介绍 FreeWheel, A Comcast Company（以下简称FreeWheel）以全方位强化新型电视生态系 统为己任，为客户提供Free 支持CI/CD、配置管理、基于Helm的 服务编排等 基于Kubernetes平台概览 Kubernetes on AWS高可用架构 • 高可用性 • 容灾容错 • 监控报警 • 日志收集 • 轻量级框架 Flask提供REST API • Celery实现任务分发与请求异步处理， 并通过RabbitMQ消息传输� • 通过uWSGI配合Nginx反向代理实现 更好的性能 • 使用Helm进行复杂容器编排 触发集成流水线� • 集成流水线拉取各服务稳定 版本� • 流水线自动触发实现集成测 试无感知� • 集成包括：� • 环境准备� • 数据准备� • 用例执行� • 结果分析� 系统集成自动化测试框架方案 � 后续工作计划展望 • Docker file合规性检查: docker run --rm -i hadolint/hadolint < Dockerfile� • 资源动态伸缩

DCE 5.0 云原生操作系统提供了 9 大能力，自由搭配各种模块，可以应对海量 应用场景。 这些模块就像乐高搭积木一样，糅合社区最优秀的几十种开源技术，经过众多 辩证选型、攻坚克难、编码调试、海量测试，“十年磨一剑，一朝试锋芒，全新 搭建的新一代容器化平台能够满足企业上云的各类场景需求。 多云编排 支持多云和混合云的统一集中管理，提供跨云资源检索及跨云的应用部署、发布和运 维能力，实现多 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非侵入式流量治理功能，支持无感接入传统微服务、云原生微服务和开源微服务 框架，实现企业现有微服务体系及新旧微服务体系的融合治理，支持微服务从开发、 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 建的统一入口，通过界面化表单创建多种流水线、GitOps、金丝雀、蓝绿、AB 等渐进式发布策略、项目管理、工具链集成等多种功能。 应用工作台着重企业应用自动化交付和基础设施变更的过程，提供业务应用从 “开发 -> 测试 -> 部署 -> 运维”的全生命周期管理，能有效帮助企业实现数字 化转型，提升企业的 IT 交付能力和竞争力。 以容器管理为底座，借助全局管理实现层级资源管理，以 CI/CD 流水线和 GitOps

monoliths-to-microservices 微服务拆分原则 DevOps 服务框架 Dubbo 可观测性 混沌工程 服务治理 Spring Cloud 多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 服务元数据 服务测试 服务mock 持续集成 IDE插件 应用监控 链路追踪 大幅提升 • 无侵入 • 0升级成本 • 全面兼容开源 • 无侵入 • 多语言 • 依赖冲突难管理 • SDK升级成本高 微服务治理演进路线 • 服务元信息 • 服务契约管理 • 服务测试 • 服务Mock • 开发环境隔离 • 端云互联 运行态Ops 开发态Dev • 无损下线 • 无损上线 • 金丝雀发布 • A/B Test • 全链路灰度 安全态Sec 发布态 服务治理中心 提供者 消费者 Agent Agent 用户 配置中心 治理规则 Dev-Sec-Ops 无损下线 离群实例摘除 标签路由 服务鉴权 链路跟踪 金丝雀发布 API管理 服务测试 限流降级 故障注入 • 业务无侵入、无感知 • 0升级成本 • 全面兼容开源 注册中心 元数据中心 微服务引擎 基于 Java Agent 的服务治理 public class BaseLoadBalancer

绝大多数能力通过 CRD 扩展，以保持与 kubernetes API 完全兼容。 可以复用 k8s API 的强大能力， 而且生态的各种 SDK 可以直 接使用。 推荐使用 kubebuilder 框架去生 成很多代码。 权限限制 禁止掉所有用户越权操作，如查看主机 namespace 共享主机端口，共享主机文件系统等操作 以保障多租户之间相互共享一个集群是安全的 User Namespace 纵向隔离 逻辑隔离 & 物理隔离 选型 原因 编程语言 Golang/typescripts Kubernetes go 生态最为成熟，ts 主要前端 框架 Kubebuiler/react/nextjs/go-restful/ 开发CRD 最好框架，follow k8s 技术栈 计算 Containerd/cloud hypervisor/firecracker 短链路/强隔离/高安全性 存储 Openebs/sealfs 块隔离同时享有本地存储性能 网络 cilium 高性能，可计量 网关 Higress 稳定性，reload 不中断，大规模 数据库编排 kubeblocks 稳定性，充分破坏性测试 Sealos 技术选型 基于区块链的统一认证与支付系 统。 公司任何其它产品和系统都可接 入，产品之间经济联通。 价值 一键帮助客户构建一 朵云，半个人力即可 维护，支撑企业所有 应用