Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控，每个监控对象一个标识即可，没有维度的设计 •新一代监控系统更加关注应用侧的监控，没有维度标签玩不转，每个指标动辄几个、十几个标签 指标维度更为丰富 业务程序，即部署在容器中的业务程序的监控，这 个其实是最重要的 随着 Kubernetes 越来越流行，几乎所有云厂商都提供 了托管服务，这就意味着，服务端组件的可用性保障交 给云厂商来做了，客户主要关注工作负载节点的监控即 可。如果公司上云了，建议采用这种托管方式，不要自 行搭建 Kubernetes，毕竟，复杂度真的很高，特别是 后面还要涉及到升级维护的问题。既然负载节点更重要， 我们讲解监控就从工作负载节点开始。 Kubernetes

原生技术架构的典型特征包括：极致的弹性能力，不同于虚拟机分钟级的弹性响 应，以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应；服 务自治故障自愈能力，基于云原生技术栈构建的平台具有高度自动化的分发调度 调谐机制，可实现应用故障的自动摘除与重构，具有极强的自愈能力及随意处置 性；大规模可复制能力，可实现跨区域、跨平台甚至跨服务的规模化复制部署。 由此可见，云原生作为一种新兴的安全理念，是一种构建和运行应用程序的 DevOps 开发多个维度， 这打破了原有的信息安全视角。在应对不断出现的针对云原生基础设施、平台及 容器的安全威胁过程中，原有的安全体系也产生了变革。主要表现在如下几个方 面：  防护对象产生变化 安全管理的边界扩展到了容器层面，需要采用新的安全策略和工具来保护容 器的安全性，如容器镜像的验证和加密、容器漏洞扫描和运行时监测等。  架构的变化 多云及混合云下的应用架构及工作负载更加复杂，需要采用分布式安全策略 kubelet 安全配 置要求、 CNI 和网络策略安全配置要求 2 网络安全等级 保护容器安全 要求 由中关村信息安全测评联盟团体标准委员会提出并归口，规定了在云环境中 采用容器集群技术的等级保护对象要求，包括第一级至第四级的安全要求。 3 云原生能力成 熟度模型 第 1 部分：技术架构 由中国信息通信研究院牵头编写，规定了基于云原生技术的平台架构的能力 成熟度评估模型，从服务化能力

KubeVela 的 Application 对象 镜像与启动参数 多组件 如何扩容 扩容指标，实例数范围 组件类型 可灵活扩展的其 他能力 • 一个完整的应用描述文件（以 应用为中心） • 灵活的“schema”（参数由 能力模板自由组合） • 放置于应用代码库中（gitops 友好） • 无需学习 K8s 细节（ 完整的 用户侧抽象 ） • 可自动适配任意 k8s 集群与部 的能力模板 – 组件类型 抽象封装方式 K8s 对象模板 CUE 模板 工作负载类型 Helm chart 封装 其他封装 使用方式(json schema) KubeVela 的能力模板 – 运维能力 抽象封装方式 可作用的工作负载 K8s 对象模板 CUE 模板 Helm chart 封装 其他封装 Trait 自身 CRD对象 使用方式 (json schema) 示例：上线新功能 态机 发布单模式下 Application 的更新不 再实际操作资源，只生成版本快照 AppRollout-1 开始 暂停 继续 成功 AppRollout-2 新的发布使用新的发布单对象 K8s Resource v1 -> v2 cluster2 cluster1 面向终态的多版本共存 --渐进式发布 Application AppRevision v1 AppRevision

切 问 题 ， 某 一 环 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 ， 而 很 多 入 侵 风 险 是 不 可 预 知 的 ！ 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 异 安全问题左移一个研发阶段，修复成本就将 提升十倍，所以将安全自动化检查和问题发 现从运行态左移到研发态，将大大提高效率 现从运行态左移到研发态，将大大提高效率 和降低成本 默认安全策略，可以天然的规避大部分 安全问题，使得人员配置和沟通工作大 量减少，提高了整体效率! 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ 中的内存是受保护的，用户查询语句在客户端应用加密后发送给云数据库， 云数据库执行检索操作时进入TEE环境，拿到的结果是密文状态，然后返 回给客户端，数据面从传输、计算到存储全链条都是处于加密的，只有可 信执行环境内才进行明文计算。 • SSL+TDE+TEE=E2E云原生数据库安全方案。 RDMA 高级能力-云原生数据库-应用的基石-5-应用迁移 IDC 应用 A B C Oracle|MySQL

10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 日志热数据保存七天 历史数据冷备一个月 其他诉求 日志上报不能影响核心业务 数据上报延时可感知 准备ES 安装Filebeat 编写Filebeat配置文件 测试并下发配置 全网重启filebeat 检测数据是否上报 传统Beats接入流程 配置更改 现网配置是否全部一致？ Kafka ES HostGroup Auth DataSource FileCleaner ConfigGroup Config CgroupQuota Action … … 配置对象转化 对象引用 Pipeline 归属 Business Agent Agent Filebeat2 Packetbeat FileCleaner Filebeat1 … Logstash2 参数优化体验 修改配置文件、参数调优相对麻烦 全UI化、一站式处理 14 配置UI化 配置UI化开发思路 嵌套式表单 大表单套小表单，所有表单都是以angular组 件形式开发，保证代码的可复用性与质量 配置分级展现 把复杂配置独立成高级选择，并设置默认值， 并在复杂项给出有效帮助 自定义组件 编写大量自定义小组件，比如cmdb设置，时 间设置等组件提高用户体验，尽量减少直接填 文本

• WASM extension • External-proc extension 可扩展性、灵活性、生态 价值意义 • 技术共享，融合 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MoE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension 需要跨进程通信性能低（UDS vs CGO 1KB Latency 差 8 倍)； 需要扩展具备 gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力， 改造成本低； 研发效率高，灵活性高； GoLang 支持的库比较多（Consul、 Redis、Kafka etc），生态较好 引入 GoLang 扩展后 xDS 同等功能的 API, MOSN 集成的 Service Discovery 组件通过 该 API(rest http) 和 Envoy 交互 使其 MoE 的服务发现能力也具备 “双模”能力，可同时满足大规模及 云原生的服务发现通道 MoE 方案介绍 — 相关采坑记录 GoLang 相关 • GoLang recover 失效 • GoLang 返回的字符串被截断 • export

软件物料清单（SBOM, Software Bill Of Material）是云原生时代应用风险治理的基础设施。 特点： • 是治理第三方组件风险（开源+闭源）的必备工具； • 可深度融合于DevOps应用生产模式； • 可与多种DevSecOps工具链联动强化效能（SCA、RASP、漏洞情报）； • 在云原生应用的开发端及运营端均发挥作用。 实践现状 SBOM的应用现状 • 根据《Anchore Apache Log4j2 漏洞 2022年3 月 30 日，国家信息安全漏洞共享平台 （CNVD）收录 Spring 框架远程命令执行漏洞 （CNVD-2022-23942）。攻击者利用该漏洞，可 在未授权的情况下远程执行命令，该漏洞被称为 “核弹级”漏洞。使用 JDK9 及以上版本皆有可能 受到影响。 Spring 框架漏洞 软件下载投毒、SDK/恶意代码污染、基础开源组件漏洞、商业许可证限制 自防御能力，针对该类漏洞的攻击利 用方式精准有效的防护。它可以通过 应用的函数行为分析、上下文情境感 知及热补丁技术有效阻断绝大部分 RCE类未知漏洞攻击。 出厂 免疫 安全运营：常态化使用和运营安全可 信的制品库，通过SCA和SBOM持续 为每个应用程序构建详细的软件物料 清单，全面洞察每个应用软件的组件 情况。RASP配合开源漏洞情报，第一 时间发现并处理开源漏洞风险。 持续 运营

兼容市面绝大多数开发语言制品，提供公 用、内部共享、私有等多种使用方式。兼 容市面上制品管理客户端。 全功能云IDE开发 每个云IDE都是一个云端小笔记本，一人一 本，多人可形成云端小局域网。可独立编 写调试代码，可团队协作。 安全代码仓库托管 统一的安全代码仓库，按项目级别分级管 理，落盘加密，云IDE防护，显示水印等多 重防护。 云原生虚拟化开发集群 利用虚拟化技术实现开发集群，分钟级交 国际形势复杂、软件供应链的多样化， 供应链各个环节的攻击急剧上升，已然成为企业主要的安全威胁。 缺点 低误报率 高检出率 集成灵活 只能检测已知 漏洞 优点 可见 100%资产覆盖 可治 90%效率提升 可防 100%流程覆盖 ü 建立资产台账 ü 分类分级标记 ü 关联责任人 ü 关联内外网业务 ü 漏洞及投毒检测 ü 自主可控率分析 ü 许可证合规分析 ü 自动化修复技术 IAST扫描结果提供DevSecOps常态化安全运营指标 通过将IAST集成到CI/CD流水线，在测试环境的构建过程中自动部署IAST检测逻辑，可以实现与功能测试同步进行的自动化 安全测试，给出漏洞的实际触发路径并提供实际可落地的修复建议。根据需求阶段提出的安全设计方案，配置IAST中的自定义规 则，基于IAST的扫描结果可以实现安全需求设计的闭环管理，大幅减少安全漏洞，有效降低风险暴露时间。 程 序 源 码 程 序

WASM extension • External-proc extension 可扩展性、灵活性、生态 价值意义 • 技术共享，融合 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MOE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension 需要跨进程通信性能低（UDS vs CGO 1KB Latency 差 8 倍)； 需要扩展具备 gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能 力，改造成本低；研发效率高， 灵活性高；GoLang 支持的库比 较多（Consul、Redis、Kafka etc），生态较好 引入 GoLang 扩展后 同等功能的 API, MOSN 集成的 Service Discovery 组件通过该 API(rest http) 和 Envoy 交互 使其 MoE 的服务发现能力也 具备“双模”能力，可同时满足 大规模及云原生的服务发现通 道 MOE 方案介绍 — 如何 Debug Envoy • Admin API • Debug log • Request/Connection

大数据业务可以使用集群整体空闲资源， 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资 源配额 资源共享：Queue • 集群级别资源对象，与用户/namespace解耦 • 可用于租户/资源池之间共享资源 • 支持每个队列独立配置Policy，如 FIFO, fair share, priority, SLA等 K8S CLUSTER