rest_client_requests_total 针对 apiserver 的请求量的指标 • kubeproxy_sync_proxy_rules_duration_seconds 同步网络规则的延迟指标 以及通用的进程相关的指标，进程的 CPU 内存 文件句柄等指标 Kubernetes 控制面组 件的监控 Kubernetes控制面 apiserver的监控 • apiserver 通过 /metrics 接口暴露监控数据，直接拉取即 可 • apiserver 在 Kubernetes 架构中，是负责各种 API 调用 的总入口，重点关注的是吞吐、延迟、错误率这些黄金指 标 • apiserver 也会缓存很多数据到内存里，所以进程占用的 内存，所在机器的内存使用率都应该要关注 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml，大盘可以参考 k8s/apiserver- dash.json 请求量的指标，可以统计每秒请求数、成功率 • apiserver_request_duration_seconds 请求延迟统计 • process_cpu_seconds_total 进程使用的CPU时间 • process_resident_memory_bytes 进程的内存使用量 Kubernetes控制面 controller-manager的监控 • controller-manager 通过 /metrics 接口暴露监控数据，

...................................................................................... 23 2.3.1 守护进程攻击........................................................................................23 2.3.2 云原生作为云计算深入发展的产物，已经开始在 5G、人工智能、大数据等 各个技术领域得到广泛应用。中国联通研究院一直从事云原生及其安全技术的研 究，致力于推动云原生在通信行业落地实践，全面落实好“大安全”主责主业， 以实际行动践行“国家队、主力军、排头兵”的责任担当。2022 年，我们在“联 通合作伙伴大会”发布了《中国联通云原生安全实践白皮书》，该书系统阐述了 云计算所面临的新型安全问题，介绍了云原生安全防护体系，并给出了云原生安 措施，保证容器内应用程 序的安全与隔离。图 7 展示了攻击者可能利用的直接对容器进行攻击的方式。 图 7 容器运行时安全风险 2.3.1 守护进程攻击 Docker Daemon 是 Docker 架构中一个常驻后台的 Docker 守护进程，用 于监听 REST API 请求并相应地执行容器操作，只有信任的用户才能向 Docker Daemon 发起请求。默认情况下，对于 Docker

现从运行态左移到研发态，将大大提高效率 和降低成本 默认安全策略，可以天然的规避大部分 安全问题，使得人员配置和沟通工作大 量减少，提高了整体效率! 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 集群管理能力的 Operator。其使用 CRD 方式来对 Ceph、Minio 等存储资源进 行部署和管理。 Ceph文件存储 MiniO对象存储 • Operator：实现自动启动存储集群，并监控存储守护进程，并确保存储 集群的健康； • Agent：在每个存储节点上运行，并部署一个 CSI / FlexVolume 插件， 和 Kubernetes 的存储卷控制框架进行集成。Agent 处理所有的存储操 作，例如挂载存储设备、加载存储卷以及格式化文件系统等； • Discovers：检测挂接到存储节点上的存储设备。 Rook 将 Ceph 存储服务作为 Kubernetes 的 一个服务进行部署，MON、OSD、MGR 守 护进程会以 pod 的形式在 Kubernetes 进行 部署，而 rook 核心组件对 ceph 集群进行 运维管理操作。 Rook 通过 ceph 可以对外提供完备的存储 能力，支持对象、块、文件存储服务，让

云原生学院 第 22 期 云原生产品与架构系列：第1讲 曾任阿里巴巴、华为架构师、深信服云原生产品规划主管 10月27日（周三）晚8点-9 点 高磊 主 办 方 ： 互 动 平 台 ： 云原生：主动对应变化= 稳定性保证 什么是云原生(Cloud Native Computing)->为云而生 只有为云而生的应用才 是云原生应用 2 0 1 9 年 云 原 生 爆 发 成 为 主 攻 方 向 2 0 1 5 年 P i v o t a l 提 出 云 原 生 概 念 P i v o t a l 、 C N C F 同 时 提 出 云 原 生 是 一 种 充 分 利 用 云 网络堆栈 熔断器 服务发现 熔断器 服务发现 SideCar SideCar 统一化Service Mesh’s Control Plane • 通过将服务治理、通信、安全等从微服务框架中以独立进程剥离出来，解决了微服 务治理的碎片化以及基础设施耦合问题。 • 但是Sidecar（数据面）在国际化组织和企业联盟的努力下，也形成了叫做UDPA （Universal Data Plane API）

1 织 入 检 测 逻 辑 2 处 理 H T T P 请 求 ， 获 取 数 据 流 并 收 集 相 关 信 息 3 检 测 漏 洞 I A S T 控 制 台 4 收 集 请 求 （ 主 动 插 桩 补 充 测 试 ） 5 发 送 P a y l a o d , 执 行 检 测 6 展 示 漏 洞 低误报率 高检出率 可实现逻辑漏洞检测 可实现个人隐私合规检测 检测探针语言强相关 监 控 风险事件列表 容器内行为 实时监控 产生 告警处置 人工安全标记 响应处置 内置风险策略 木马病毒上传 恶意命令执行 容器逃逸 其他风险策略 已 知 威 胁 监 控 进程 网络连接 系统调用 文件 配置 安全容器模型 在业务上线后，容器安全工具基于内置检测规则+行为学习+自定义策略，多维度保障容器运行时的安全。 已知威胁方面，通过丰富的内置安全策略，对

/ Bridge DeepFlow 采集器进程 • 零干扰：无需对vSwitch和KVM做任何配置、不监听任何端口 • 零依赖：用户态进程部署运行，无任何Lib依赖 • 零侵入：不侵入业务VM，一个进程采集所有业务VM流量 虚拟化 - KVM 业务VM 业务VM 业务VM (K8s Node) vSwitch / Bridge DeepFlow 采集器进程 业务 POD 业务 POD 采集 POD reserved. 全栈混合云：KVM 宿主机+容器 K8S 虚拟机Node vSwitch DeepFlow 采集器进程 业务 POD 业务 POD 采集 POD br 业务 POD 全栈混合云：KVM 宿主机+容器 K8S 虚拟机Node vSwitch DeepFlow 采集器进程 业务 POD 业务 POD 采集 POD br 业务 POD 网关 1 2 3 5 6 7 4 容器-虚拟机-NFV网关 Region#2 Region#1 TCP/UDP 20033 TCP 20035 TCE Overlay CVM母机 VPC#1 CVM VPC#1 TKE容器节点 br DeepFlow 采集器进程 业务 POD 业务 POD DeepFlow 采集器POD br 业务 POD TCE Underlay CVM母机 DeepFlo w控制器 DeepFlo w控制器 DeepFlow 数据节点

ent id 配置获取 从Consul中获取当前agent的配置组列表，并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径，实时感 知配置变化，并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表 向master发起Agent注册逻辑 向master发起Agent注册逻辑 返回agent id 增删改策略 获取策略列表 启动管控收集进程 watch配置变化 9 Agent运行时 10 日志接入 购买云ES 录入ES 创建主机组 添加主机 配置日志主题 选择主机组 日志配置 权限管理 资源设置 提交策略 Kibana查日 志 集中管理配置 • 规模化自动化部署Agent • 按业务逻辑划分机器组 升级ES配 置 发现延时 Cpu/mem充足 Cpu/mcem充足 提升beats资 源配额 Cpm/mem受限 ES负载低 ES负载高 日志延时统计 dashboard Beats进程资 源采集分析 日志接入 cpu/mem对比 提升cpu/mem 配额 Beats缓存调大 Beats Worker 并发调大 提高写入并发 单次bulk size 调大 Es性能分析

络 IO 适配改造 External-Proc Extension 适合治理能力已经是一个远程服 务，集成进 Envoy 需要跨进程通信性能低（UDS vs CGO 1KB Latency 差 8 倍)； 需要扩展具备 gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能 力，改造成本低；研发效率高， 低 高 活跃 External Processing Filter 高 低 中 N MOSN(GoLang) Extension 高 较高 低 活跃 对比：MOE 相比 ext-proc 无需跨进程 gRPC，性能高，易管理； 相比 WASM 无需网络 IO 操作转换成本；相比 Lua 生态好、能 复用现有的 SDK，对于处理上层业务更合适 扩展方案评估 Envoy 社区讨论 MOE 背景介绍

存指标？ ② 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ③ Metrics与「非Aggregatable」的Log 例如：QPS降低与进程、服务器的日志有关联吗？ ③ 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ④应用、系统、网络的Log之间 例如：应用日志ERROR与Ingress日志有什么关联吗？ HOST KVM KVM VM L2GW、OvS iptables、ipvs POD POD envoy 应用进程 HOST KVM KVM VM L2GW、OvS iptables、ipvs POD POD envoy 应用进程 Gateway L4~L7 GW 资源池 区域 可用区 云平台 租户 云资源 宿主机 云服务器 网络资源 VPC 子网

还未完全支持； 不能复用已有的 SDK，需要做网络 IO 适配改造 External-Proc Extension 跨语言支持、隔离性 需要跨进程通信性能低（UDS vs CGO 1KB Latency 差 8 倍)； 需要扩展具备 gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力， 改造成本低； 研发效率高，灵活性高； 低 高 活跃 External Processing Filter 高 低 中 N MOSN(GoLang) Extension 高 较高 低 活跃 对比：MoE 相比 ext-proc 无需跨进程 gRPC，性能高；相比 WASM 无需 网络 IO 操作转换成本；相比 Lua 生态好、能复用现有的 SDK，对于上层 业务处理更合适 扩展方案评估 Envoy 社区讨论 MoE 背景介绍 —