Ltd. All rights reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. OpenTelemetry的方法 统一的上下文 以追踪为核心 看云网更清晰 IP地址 NATGW ALB … 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. MultistageCodec：采集 ➔ 存储 ➔ 查询 DeepFlow Agent

实践路径，帮助企业构建 弹性可靠、松耦合、易管理可观测的应用系统，提升交付效率，降低运维复杂度， 代表技术包括不可变基础设施、服务网格、声明式 API 及 Serverless 等。云 原生技术架构的典型特征包括：极致的弹性能力，不同于虚拟机分钟级的弹性响 应，以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应；服 务自治故障自愈能力，基于云原生技术栈构建的平台具有高度自动化的分发调度 调谐机制，可实现应用故障的自动摘除与重构，具有极强的自愈能力及随意处置 性；大规模可复制能力，可实现跨区域、跨平台甚至跨服务的规模化复制部署。 由此可见，云原生作为一种新兴的安全理念，是一种构建和运行应用程序的 技术体系和方法论，以 DevOps、持续交付、微服务和容器技术为代表，符合云 原生架构的应用程序应该：采用开源堆栈（k8s+Docker）进行容器化，基于微 服务架构提高灵活 推动安全与云计 算深度融合。我们在 2022 年发布的中国联通云原生安全实践白皮书中[2]，对比 分析了不同的组织和企业对云原生安全理念的理解，其中包括 CNCF 认为云原 生安全是一种将安全构建到云原生应用程序中的方法[3]、k8s 提出的云原生 4C 安全模型[4]、腾讯所理解的云原生安全指云平台安全原生化和云安全产品原生化 [5]，并给出我们对于云原生安全的理解，即云原生安全是云原生理念的延伸，旨

数智化化转型、实现业务价值。 • 端到端自动化交付流水线 • 开发过程自主可控 • 一键发布上磐基，实现“乘舟上云，稳如磐基” • 沉淀IT软件资产，核心代码掌控 • 提升开发交付效率 一键 上磐基 构建 打包 容器 化镜 像 自动化 部署 研发安 全扫描 需求 设计 敏捷 开发交付协同 云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 云原生虚拟化开发集群 利用虚拟化技术实现开发集群，分钟级交 付，突破有限资源开发集群供给。 原生使用模式，开发组件一键部署 云原生CI持续集成 使用Dockerfile进行云原生方式的CI构建， 拓展形成ARM、x86双架构流水线，底层 安全漏洞统一修复 全面云原生安全 支持代码安全扫描、镜像安全扫描、开源 协议扫描、依赖漏洞扫描。并可给出修复 建议。支持开源风险持续治理。 资产 10.43亿 平台管理的业务或应用代码行数 215.87万 平台进行代码质量扫描、代码安全扫描、镜像安全扫描、整体安全扫描量 183.81万 提交代码、构建、部署总次数，其中x86构建16.42万次，arm构建1.59万次 企业级超大规模实践—推动中移数字化转型 中国移动集团范围内推广使用磐舟，截止2022年10月30日，平台已入驻项目356个。其中IT公司208个，涉及

制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 [1] 云原生(cloud-native)技术使组织能够在现代化和动态的环境下（如公有云、私有云 和混合云）构建和运行可扩展的应用程序。云原生典型技术包括容器、服务网络、 微服务、不可变基础设施和声明性API等。 1之后实 现非阻塞式 释放并回收空间/可能释放配额 1 2 3 构建高可用(HA)仓库服务 [1] 使用离线安装包搭建HA仓库服务：基于内容复制能力或者基于外部共享服务 IDP 构建高可用(HA)仓库服务 [2] 使用Helm Chart和外部高可用服务（数据库，缓存和存储）部署HA的仓库服务 构建高可用(HA)仓库服务 [3] Harbor Operator提供基于K8s集群的all-in-one Resources K8s Resources K8s Resources K8s Resources Database Service Cache Service Storage Service 构建高可用(HA)仓库服务 [4] 多数据中心HA部署 与Harbor集成 Restful API • 完善的API • 遵循OpenAPI规范 • 通过Swagger生成调用代码 AUTH集成

理、许可证和授权管理、知识产 权管理、合规性管理、基线建立和配置管理等。 作用示例 SBOM使用场景 1）从广义的分类上看，SBOM有三种不同的使用主体： 〇 软件生产商使用SBOM来协助构建和维护他们提供的软件； 〇 软件采购商使用SBOM来进行采购前参考、协商折扣和制定采购策略； 〇 软件运营商使用SBOM为漏洞管理和资产管理提供信息，管理许可和 合规性，并快速识别软件和组件依赖关系以及供应链风险。 美国国家电信和信息管理局（NTIA）发布的《构建软件 组件透明度：建立通用软件物料清单（SBOM）》第二版 中提出：SBOM 是一个包含软件组件列表和层次依赖信 息且机器可读的规范性清单。 实践要点——固化到流程和体系 围绕SBOM建立管理流程 轻量方案 落地方案 开发测试：将SCA工具对接到 DevOps流程里，对编译构建环节卡 点，保障软件构建时所依赖组件的安 全性，确保不引入存在漏洞的组件； 应用的函数行为分析、上下文情境感 知及热补丁技术有效阻断绝大部分 RCE类未知漏洞攻击。 出厂 免疫 安全运营：常态化使用和运营安全可 信的制品库，通过SCA和SBOM持续 为每个应用程序构建详细的软件物料 清单，全面洞察每个应用软件的组件 情况。RASP配合开源漏洞情报，第一 时间发现并处理开源漏洞风险。 持续 运营 SCA——获取SBOM 软件成分分析 SCA 技术是通过

Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD Serverless 简介 什么是 Serverless Autoscaling，也并⾮最专业和敏捷的做法 Serverless 新愿景 新⼀代开源函数计算平台 - 契机 云原⽣ Serverless 领域的最新进展为构建新⼀代 FaaS 平台提供了可能 现有开源 Serverless 或 FaaS 平台并不能满⾜构建现代云原⽣ FaaS 平台的要求 - 开放的云原⽣框架 - 涌现的优秀项⽬ - ⽇新⽉异的业务模式 Function Lifecycle 新⼀代开源函数计算平台 如何管理 Build pipeline？ K8s 弃⽤ Docker 作为 Container Runtime 不能再以 Docker in docker 的⽅式以 Docker build 构建镜像 还有什么选择？ Function Build 如何在这些⼯具直接进⾏选择和切换？ Cloud Native Buildpacks buildah buildkit kaniko

发布能力缺失，使用 helm upgrade 没有灰度 能力。 Helm Chart 基于 CRD 自定义实现 需要大量 K8s 经验才能开发 某游戏公司自定义workload Pinterest 构建一个渐进式发布能力需要解决哪些 问题？ • 版本化 • 分批发布 • 滚动发布/原地发布 • 发布暂停 • 发布回滚 • 日志监控 • 健康检查 • 多版本部署 • 多版本流量灰度 • 多集群/多环境灰度 的标准化应用管理引擎 KubeVela 简介 第二部分 What is KubeVela？ KubeCon NA 发布 一个标准化的云原生应用平台构建引擎。 • 基于 Kubernetes 和 OAM 模型构建 • 纯 Golang 编写 • 社区发起，社区构建 • 正式发布第 4 天，登顶趋势榜首 应用 平台团队 Canary Autoscale Route Web Service

多种东西的集成，也无法在应用级别上进行管理。 ISV研发团队 标准化能力-微服务PAAS-OAM-万花筒PAAS-2 阿里和微软在19年发布了一个叫做OAM的规范，这是基于10年云原生道路锤炼得到的自动化交付方案 构建镜像 多区域分发 配置 ApplicationConfiguration Component 微服务 数据库 MQ Cache Trait 灰度 监控告警 弹性扩缩容 高可用 私有PaaS特征依赖的市场，而强大的开源社区 比平台提供商自己还要强大，利用容器底座的 承载能力和OAM抽象化编排能力，可以不等排 期的构建各种特征的Paas。业务应用由于不依 赖于运维特性，也实现了标准化，也可以加入 组件市场，此时开放PaaS+开放应用市场可以 构建对应各种环境的应用了。 • 云原生蓬勃而多样的生态成了这种Paas的基础。 • 编排不在以服务为单位，而是以应用为单位， 再也不会出现由于理解不一致导致的交付失败 不在，OAM除了在交付过程中提供了基于应用的 交付方案，同时将CICD与底层实现解耦，可以插接无限制的工具组件，使得可以对应不同交付 场景所要求的不同工具链。比如叠加serverless能力加快镜像构建速度、叠加安全左移能力等等。 OAM使得整体PAAS在通用化的情况下，向多种客户环境交付赋能。 OAM应用实例 从基础设施，到容器运行环境，再到应用都可以加入编排，想要在K8s上编排一切并不是容

隐私计算等技术在构筑数字大楼的同时，不仅带来了全新的安全场景，也成为网络安全攻防 当中的利器;2020年井喷的远程办公，拷问传统安全边界防线，让“零信任”这一有着十年历史的理念再次受到关注，成为企业构建后疫情时代安全体系 的基石;云上原生的安全能力让成本、效率、安全可以兼得，上云正在成为企业解决数字化转型后顾之忧的最优解…… 安全是为了预防资产损失，所以当安全投入 的成本大于能够避免的资产损失价值时，变 预期所规 定的安全状态。尤其是像边缘计算BOX这种安全防护，根据唯一Hash值验 证，可以实现极为简单的边云接入操作，运行态并不会影响性能。 可信根一般是一个硬件，比如CPU或者TPM，将从 它开始构建系统所有组件启动的可信启动链，比 如UEFI、loader、OS、应用等，可以确保在被入侵 修改时的阻断行为，另外可以将可信启动链的 Hash值上传云端管理，可以做到中心管控验证的 目的。 加密技术 ，隔离了风险 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全 采用IpTables，有一定的性能消耗 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案， 克服了Calico SDN安全和性能方面的不足 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全，端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件：数据库、存储、中间件和大数据

等即可快速启动微服务应⽤。 但对于开发⼈员来说，原来单体应⽤的开发体验变得不复存在，由于应⽤很难在 Docker 容器之外运⾏，所以 每次代码修改，都需要经历以下步骤： 执⾏ docker build 构建镜像 执⾏ docker tag 对镜像进⾏标记 执⾏ docker push 推送镜像到仓库 修改 Kubernetes ⼯作负载的镜像版本 等待镜像拉取结束 等待 Pod 重建 查看修改后的代码效果 ”进⼊开发模式 Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 4 / 7 P. 克隆业务代码或选择本地代码⽬录打开 Q. 进⼊开发模式，本地修改代码并保存，⽆需重新构建镜像，远端开发环境实时⽣效，⽀持远程调试 Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 5 / 7 快速体验 想要快速体验 Nocalhost ，有以下⼏点前置条件： Web 控制台的地址，回⻋确 定。 点击 “Sign In” 按钮，输⼊开发者的登陆账号：foo@nocalhost.dev，密码：123456，登陆后即可⼀键部 署 Bookinfo 并体验⽆需重新构建镜像的应⽤开发。 Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 7 / 7 落地案例 ⽬前，CODING 部分应⽤（100+微服务）正在使⽤ Nocalhost 进⾏开发，实践验证