1 云原生安全威胁分析与 能力建设白皮书 中国联通研究院 中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023 年 11 月 版权声明 本报告版权属于中国联合网络通信有限公司研究院，并受法 律保护。转载、摘编或利用其他方式使用本报告文字或者观点的， 应注明“来源：中国联通研究院”。违反上述声明者，本院将追 究其相关法律责任。 云原生安全威胁分析与能力建设白皮书 2 服务对外暴露攻击................................................................................27 2.4.3 业务 pod 攻击...................................................................................... 28 2 浦明、张小勇、白黎明、左伟震、范璟玮、许秀莉 云原生安全威胁分析与能力建设白皮书 9 一、云原生安全概述 近年来，云计算技术一直处于高速发展的过程中，并且随着公有云和私有云 的广泛应用，利用云计算作为承载业务运行的基础设施，已经成为了企业的首选。 “十四五”时期，中国的信息化进入加快数字发展、建设数字中国的新阶段，在 数字化转型的浪潮中，云计算作为新型数字基础设施和新一代信息技术的核心引 擎，在推

高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题，计算量属于窄带范畴， 所以计算算力重点在于云端，云端计算体系架构成熟， 成本较低，在业务上本地的设备根据模式信号反馈一些 动作，比如下雨关窗帘，是自动化范畴，上传云端的数 据都是属性数据，比如谁什么时候干了什么，后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 (现场)边缘计算BOX 业务场景复杂，对算力、通信要求很高，计算放置于 云端时效性差，另外无法现场就对业务进行处理，比 如计算路口交通事故预警，给予司机及时提示等，所 以将算力卸载在距离业务现场、设备最近的地方，就 是边缘计算的场景，它的价值空间远超AIoT，可以更 大范围为客户赋能，IoT和边缘计算一定走向融合。 定位为基于物模型的计算 定位为基于业务的计算 高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge 简化运维，降低成本， 客户专注于业务领域。 • 无论是AIoT还是边缘 计算，核心要素是计 算，计算平台的训练 平台位于云端，而推 理计算位于BOX端，并 且能够适应各类算法 和硬件的要求，形成 一个通用计算平台， 更普遍的为客户场景 赋能。 • 一切围绕如何将算力 输送到业务场景为中 心思想，构建技术体 系。 高级能力-业务双引擎循环驱动-业务数据化、数据业务化 互联网业务、万物互联业务等等造就了海量数

碎片化的，而且其业务类型越来越多，比如已经延展到边 缘计算盒子，此时攻击面被放大，在云原生环境下安全是一个核心价值，需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力，导致传统安全实施方法、角色、流程、技术 都发生了很多变化，适应这些变化是落地云原生安全的关键！ 标准化能力-承载无忧-E2E云原生纵深安全保障-2-商业价值 腾讯安全战略研究部联合腾讯安 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以 建议在业务低峰时进行。 IAST(交互式应用程序 安全测试) 结合了上面两种的优点并克服其缺点，将SAST和DAST相结合，通过插桩 SCA就是解决此类问题的办法，通过自动化分析组件版本并与漏洞库相 比较，快速发现问题组件，借助积累的供应链资产，可以在快速定位的 同时，推动业务快速修复。 安全左移的一种，在上线前发现依赖组件的安全 问题，快速借助供应链资产库，帮助业务修复问 题。 需要进行大量的安全特征以及资产库的建设或者 三方集成。（涉及业务能力） RASP(运行时安全应 用程序自我保护) 可以看做是IAST的兄弟，RASP通过程序上下文和敏感函数检查行为方式

complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 问题2：重复建设 业务团队A 业务团队B 业务团队C 业务团队D simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Technology Co., Ltd. All rights reserved. 2.0 服务：统一的可观测性平台 可观测性平台（Metrics、Tracing、Logging） 基础设施团队 业务团队A 业务团队B 业务团队C 业务团队D …… 存储、检索服务 观测数据 观测数据 观测数据 观测数据 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 问题1：团队耦合 开发团队100%驱动力 运维团队100%驱动力 服务 数据 ??团队??%驱动力 谁来承担业务稳定的职责？ 谁来承担业务交付的职责？ 谁来升级“观测Library”？ 谁来观测“观测Library”？ simplify the growing complexity © 2021, YUNSHAN Networks

率低，故障排查慢，阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 我们需要一种新型的、为云而生的业务承载平台，去应对上述问题。 微服务应 用 大型 单体 应用 VM/服务器 VM/服务 器 VM/服务 器 VM/服务 器 目 标  支持微服务级别的细粒度资源隔离  支持快速扩缩容  支持热升级，服务更新不影响业务可用性  支持服务的快速地部署、扩展、故障转移  支持更细致、自动化的运维，快速恢复  …… 过去 现在 未来 云原生的业务承载平台？

从Kubernetes架构来看要监控的组件 • Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点，最核心就是监控Pod容器和节点本 身，也要关注 kubelet 和 kube-proxy l 业务程序，即部署在容器中的业务程序的监控，这 个其实是最重要的 随着 Kubernetes 越来越流行，几乎所有云厂商都提供 了托管服务，这就意味着，服务端组件的可用性保障交 给云厂商来做了，客户主要关注工作负载节点的监控即 Kubernetes Pod 内的 业务应用的监控 Pod内的业务应用的监控 - 两种埋点方式 • Pod 内的业务应用，有两种典型的埋点方案，statsd 和 prometheus sdk，当然，也可以用日志的方式，但是成 本比价高，处理起来比较麻烦，如果业务程序是自己研发团队写的，可控，尽量就别用日志来暴露监控指标 • statsd 出现的时间比较久了，各个语言都有 sdk，很完善，业务程序内嵌 statsd

2B软件交付的困局 14% 8% 14% 64% SpringCloud Dubbo 其他微服务架构 传统架构 微服务应⽤成为2B软件的架构主流 01. 2B软件交付的困局 微服务是⽬前⼤多数B端业务的⾸选架构 组件复⽤ 按需运维 灵活定制 客户/项⽬要求 运维困难 交付困难 分布式难题 2B软件交付需求多样性 01. 2B 软件交付的困局 交付模式 定制化独⽴交付 标准独⽴交付 云原⽣发展的热点就是解决交付问题 云原⽣主要实践⽅式 模型化驱动 资源模型定义 模型使⽤定义 模型驱动器 模型关联 抽象化 申明式 ⽣命周期 上下游联动 按照云原⽣技术规范设计研发的业务应⽤，覆盖了应⽤ 运维、交付等层⾯的要求。 云原⽣应⽤ 云原⽣应⽤定义 02. 云原⽣与云原⽣应⽤ ⾯向开发 单个服务 云原⽣ 12 因素应⽤规范 基础规范 云原⽣应⽤定义 02 （6）基础可观测性 L2: 具备远程交付能⼒ （1）完全的模版化定义 （2）模版⾃动实例化 （3）数据⾃动初始化 （4）业务⾼容错性 （5）业务⾼可⽤性 L3: 具备持续升级能⼒ （1）⾼容错化数据升级 （2）⾼容错化版本升级 （3）版本可回滚 （4）业务⾼观测性 ⾯向交付的应⽤模型 第三部分 K8S资源的模型定义 03. ⾯向交付的应⽤模型 Deployment Pod

基于云原生打造一站式DevSecOps平台，致力于解决企业在数字化转型中的研发效能提升问题，提供从 “需求-开发-测试-发布-运维-运营”端到端的协同服务和研发工具支撑。助力企业产品快速创新迭代，进行 数智化化转型、实现业务价值。 • 端到端自动化交付流水线 • 开发过程自主可控 • 一键发布上磐基，实现“乘舟上云，稳如磐基” • 沉淀IT软件资产，核心代码掌控 • 提升开发交付效率 一键 上磐基 构建 16 14 0 50 100 150 200 250 本单位 省公司 省公司（直投） 专业公司 入驻项目数 工程类 研发类 新业务开发 87055条/个 平台管理的需求、任务、缺陷、文档、镜像等数字资产 10.43亿 平台管理的业务或应用代码行数 215.87万 平台进行代码质量扫描、代码安全扫描、镜像安全扫描、整体安全扫描量 183.81万 提交代码、构建、部署总次数，其中x86构建16 自适应安全（持续监控&响应） SEC 安全需求 业务需求进来以后从五个维度对业务需求进行安全分析 威胁分析模型 威胁资源库 安全需求基线 威胁情报库 病例库 安全开发-安全需求分析 安全需求分析通过将安全策略左移至软件开发生命周期的初始阶段，着重在需求设计环节确定关键安全要求，旨在降低风险暴露 并增强产品安全质量。安全团队针对企业内部的业务流程和场景展开威胁建模与风险识别，同时依据实际生产漏洞的运营情况完

sh/en/blog/ing_case-en/ 业务场景: • ING荷兰国际集团（International Netherlands Groups）为全球排名前列的资产管理 公司，服务遍及40多个国家，核心业务是银行、保险及资产管理等。引入云原生基础设 施，打造新一代大数据分析自助平台。 客户诉求: • 交互式服务、常驻服务、离线分析业务统一平台调度； • Job级别的调度管理，包括生命周期、依赖关系等； Kubernetes + YARN Kubernetes + Volcano 集群低负载场景 K8s资源池空闲，大数据业务无法使用 大数据业务可以使用集群整体空闲资源， 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资 源配额 资源共享：Queue • 集群级别资源对象，与用户/namespace解耦 • 可用于租户/资源池之间共享资源 (podgroup template) 用户案例：锐天投资基于Volcano的分布式计算平台 业务场景： • 金融投资公司，业务场景主要为策略研究开发、AI 训练与推理、 大数据ETL和离线批处理任务 客户诉求： • 要求调度系统提供公平机制，满足公司内多团队资源共享，保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题 • 要求调度系统统一支持AI、大数据、Batch

如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 日志热数据保存七天 历史数据冷备一个月 其他诉求 日志上报不能影响核心业务 数据上报延时可感知 准备ES 安装Filebeat 编写Filebeat配置文件 测试并下发配置 全网重启filebeat 检测数据是否上报 传统Beats接入流程 配置更改 现网配置是否全部一致？ 日志上报是否有延时？ Filebeat是否资源消耗过多？ 录入ES 创建主机组 添加主机 配置日志主题 选择主机组 日志配置 权限管理 资源设置 提交策略 Kibana查日 志 集中管理配置 • 规模化自动化部署Agent • 按业务逻辑划分机器组 • 集中配置，关联机器组 • Agent离线实时感知 • 配置一致性离线分析 • 多beats同时管控 11 当前收益 快 稳 准 • 快速接入(5min) • 配置UI化标准化