Networks Technology Co., Ltd. All rights reserved. 云原生时代的机遇和挑战 交换机 防火墙 负载均衡 服务器 单体应用 SLB / NAT SLB 云 原 生 传统网络 连接服务器 (#IP) 服务器上架 (数天) 交换-路由 (物理) 云原生网络 连接微服务 (#API/函数) 微服务CI/CD (数分钟) Mesh-NAT-SLB-... (Overlay) 80%看代码 20% 看流量 20% 看代码 80%看流量 应用连接方式的变化 应用监控的变化 传统的方法： 开发人员埋点， 标准SDK/JavaAgent， 流量分光镜像。 云原生下的难题： 微服务迭代快， 侵入式监控效率低； 云网络虚拟化， 东西向流量监控难。 挑战/必要性：网络的动态性和复杂性，不监控流量谈何应用可观测 机遇/有效性：云网络连接API/函数，监控流量可零侵入实现应用可观测 è 知识图谱 链路追踪 黄金指标 关联 应用链路（Tracing） 应用日志（Logging） 应用链路 TraceID 私 有 云 物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息

帮助，从而保障企业业务和数据更安全的在云上运转。 1.1 云原生及云原生安全 过去十年，企业数字化转型加速推进，相继经历了服务器、云化到云原生化 三个阶段。在云化阶段，云主机是云计算的核心负载之一，云主机安全是云安全 的核心；在云原生阶段，容器和无服务器计算成为核心工作负载，容器安全、 Serverless 安全、DevSecOps 成为云安全的核心。自开源 Docker 容器和 k8s DevOps、持续交付、微服务和容器技术为代表，符合云 原生架构的应用程序应该：采用开源堆栈（k8s+Docker）进行容器化，基于微 服务架构提高灵活性和可维护性，借助敏捷方法、DevOps 支持持续迭代和运维 自动化，利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。 云原生安全威胁分析与能力建设白皮书 12 1.1.2 云原生安全 云原生安全作为云原生的伴生技术，旨在解决云原生技术面临的安全问题， 安全管理的边界扩展到了容器层面，需要采用新的安全策略和工具来保护容 器的安全性，如容器镜像的验证和加密、容器漏洞扫描和运行时监测等。  架构的变化 多云及混合云下的应用架构及工作负载更加复杂，需要采用分布式安全策略 和技术，如服务间的身份验证和授权、服务网格的加密通信、微服务的监测和异 常检测等。  管理模式的变化 云原生安全威胁分析与能力建设白皮书 15 云原生应用的快速迭代和部署频率也对安全治理模式提出了新的要求。传统

磐舟DevSecOps平台定位 基于云原生打造一站式DevSecOps平台，致力于解决企业在数字化转型中的研发效能提升问题，提供从 “需求-开发-测试-发布-运维-运营”端到端的协同服务和研发工具支撑。助力企业产品快速创新迭代，进行 数智化化转型、实现业务价值。 • 端到端自动化交付流水线 • 开发过程自主可控 • 一键发布上磐基，实现“乘舟上云，稳如磐基” • 沉淀IT软件资产，核心代码掌控 • 提升开发交付效率 AST中的自定义规 则，基于IAST的扫描结果可以实现安全需求设计的闭环管理，大幅减少安全漏洞，有效降低风险暴露时间。 程 序 源 码 程 序 目 标 码 （ 插 桩 后 ） 平 台 机 器 码 应 用 系 统 I A S T 插 桩 A g e n t 展 示 漏 洞 结 果 编 译 解 释 运 行 1 织 入 检 测 逻 辑 2 处 理 H T T P 请 求 ， 获 取 或者依据检测结果对镜像 发布流程进行放行或者阻 断、忽略操作，防止危险 镜像通过发版。 安全测试-APP扫描 移动应用安全检测和个人信息合规检测能力，基于磐舟平台，容器化部署，紧邻租户业务系统，支持浏览器 访问及API。已对接磐舟CI/CD流程，资源可弹性管理，可满足高可用、高扩展、高容错等特征。 待检测APP APP自动化检测 APP安全检测报告 APP安全检测 个人信息保护专项检测 按照安全检测报告对APP进行整改

一个概念是： 应用组件（Components），它是整个应用的重要组成部分。应用组件既可以包括 应用运行所依赖的服务：比如 MySQL 数据库，也包括应用服务本身：比如拥 有多个副本的 PHP 服务器。开发者可以把他们写的代码“打包”成一个应用组件。 • Trait描述了应用在具体部署环境中的运维特征，比如应用的水平扩展的策略和 Ingress 规则，它们在不同的部署环境里却往往有着截然不同的实现方式。 并通过Docker+SDN+云原生存储 +K8S+OAM彻底隔离了不同环境 底层的细节和差异，可以整体化 交付到这些组织所在的数据中心 里去 标准化能力-微服务PAAS-OAM交付流程模式-场景流程 • 由于互联网迭代相对于其 他企业业务更新迭代更加 频繁，引发的变更循环会 积累更多的破坏稳定性的 因素。 • 分成开发、测试（或者还 需要增加预发）、生产等 环境，要将一个变更后的 制品通过些环境的层层验 证，才能进行交付 • 由于比如电商更多关心的 Storage NetWorking PaaS 云原生PaaS建立在更深 层次的软硬件栈中，而 云原生从某种角度而言 是对OS以及以上资源的 抽象！ 所以问题出现了 问一个具体的问题：在成 千个服务器上的K8S自己 的安装和维护升级谁来负 责？ 标准化能力-让管理和运维更轻松-基础设施即代码-2 云原生平台在抽象化OS的同时，却对更底层基础设施的运维无能为力，因为它完全面向应用，甚至连自己如何

复杂的应用软件架构，在开发、测试、运维 团队之间建成了认知的“墙”，团队间配合效 率低，故障排查慢，阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 /服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展 • 缺乏隔离性，服务相互抢占资源 • 增加环境、网络（端口）和资源管理的复杂性，治理成本高 • 监控粒度难以满足微服务应用运维的需要，线上问题难以排查定位，往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台，去应对上述问题。 微服务应 用 大型 单体 应用 VM/服务器 VM/服务 器 VM/服务 器 VM/服务

智慧化运营。 优势 低成本存储： 支持PB级数据存储 高并发： 千亿数据实时分析 数据源 设备监控 传感器 轨迹数据 车联网 业务集群 物联网套件写入 云原生 DB 轨迹查 询|实时 监测 MR 云原 生DB 统计 分析 物联网数据存储和查询 将车联网数据、设备监控数据、客流分析管控数据、交通数据、传感器数据实时 写入HBase中，分析结果输出到用户的监控前端系统展示，实现物联网数据的实时 监控分析。 优势 低成本 （Serverless化） 在过去，每家公司自建消息中间件集群，或是自研的、或是开源的，需要投入巨大的研发、运维成本。云原生时代的消息服务借助Serverless等弹 性技术，无需预先Book服务器资源，无需容量规划，采取按量付费这种更经济的模式将大幅度降低成本。 易用性 （Mesh化） 在云原生时代，消息服务第一步将进化成为一种所见即所得、开箱即用的服务，易用性极大的提高。接下来，消息服务将以网格的形式触达更复 大于10GB，通常存在镜像过大、制作繁琐、镜像跨地域分发周期长等问题。基于这 些问题，有些大数据开发团队不得不将需求划分为镜像类和非镜像类需求，当需要修改镜像的需求积累到一定程度， 才统一进行发布，迭代速度受限，当遇到用户紧急且需要修改镜像的需求时，势必面临很大的业务压力。同时，购买 资源后，应用的部署涉及到依赖部署、服务部署等环节，进一步拖慢应用的发布。 资源弹性扩容不及时 无法满足业务需要 资源使用率低

个人简介 • 开源项目 MOSN 核心 Committer • 主要负责容器服务整体架构的设计与开发 • 主导 ServiceMesh 落地相关工作 目录 多集群管理现状 Operator 迭代 反思&重构 整体架构 • 多单元 • 多集群 • 多分组 • 多种公有云（腾讯云、微软 云等） 核心组件-Symphony CI/CD 业务方使用 对外提供统一API 运行情况展示 Operator API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能 • 结合监控，可以查看每个实例的运行情况 • 支持离线日志查看，减少对容器的理解 迭代历程 2017～2019 • 基于Helm包管理 • K8S java 客户端 • CI/CD流程耦合 2019～2020 • 使用 Go 重构 CD 流程 • 多云环境适配 • Service oyment_types.go 流程 迭代1-Service 需求： • Service 类型是 LB 的时候，需要申请的是内网 IP，而不是公网 IP 迭代2-ServiceMesh 需求： • 使用 OpenKruise 的 SidecarSet 注入/更新 Sidecar（MOSN） • Controller 兼容自动注入逻辑 迭代3-Multi Runtime 需求：

效率（人越来越贵，算力越来越便宜） • 研发超过 10 人在 1 个代码冲突多 • 系统超过 5 个测试&上线协同代价大 • 数字化升级需要快速迭代 性能 • 单机成为性能瓶颈 可用性 • 单机成为可用性瓶颈 挑战 • 技术复杂度上升 • 运维成本上升 • 可定位性变差 • 快速迭代难以控制风险 阿里微服务解法和优势 MSE微服务引擎 Nacos Ingress（Envoy） 云原⽣⽹关 Sentinel

-advertise-wan：广告WAN地址用于将我们通告的地址更改为通过WAN加入的服务器节点。当与t anslate_wan_addrs配置选项结合使用时，也可以在客户端代理上设置此选项。默认情况下，-adverti e通告地址。但是，在某些情况下，所有数据中心的所有成员都不能位于同一物理或虚拟网络上，尤 是混合云和私有数据中心的混合设置。此标志使服务器节点通过公共网络为WAN进行闲聊，同时使 专用VLAN互相闲聊及其 此标志用于控制服务器是否处于“引导”模式。重要的是，在此模式下，每个数据中 只能运行一台服务器。从技术上讲，允许自举模式的服务器作为Raft领导者自行选举。重要的是只有 个节点处于这种模式; 否则，无法保证一致性，因为多个节点能够自我选择。在引导群集后，建议不 使用此标志。 ● -bootstrap-expect：此标志提供数据中心中预期的服务器数。不应提供此值，或者该值必须与群 中的其他服务器一致。提供 中的其他服务器一致。提供后，Consul将等待指定数量的服务器可用，然后引导群集。这允许自动选 初始领导者。这不能与传统-bootstrap标志一起使用。此标志需要-server模式。 ● -bind：应绑定到内部群集通信的地址。这是群集中所有其他节点都应该可以访问的IP地址。默认 况下，这是“0.0.0.0”，这意味着Consul将绑定到本地计算机上的所有地址，并将 第一个可用的私有 Pv4地址通告给群集的其余部分。

非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系 Net、Netstat、Processes、 System、Conntrack、Vmstat 等等。原理就是读取 OS 的数据（通过 /proc 和 syscall 等）做一些简 单计算。有很多采集器可以选择： Telegraf Grafana-agent Datadog-agent node-exporter Categraf Kubernetes Node 组 件的监控 Kubernetes 过 Kubernetes apiserver 的 proxy 接口，抓取各个node（即kubelet）的 /metrics/cadvisor 接口的 prometheus 协议的数据 • 这个抓取器只需要部署一个实例，调用 apiserver 的接口即可，维护较为简单，采集频率可以调的稍大，比 如30s或60s • 所有的拉取请求都走 apiserver，如果是几千个node的大集群，对 apiserver