All rights reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify complexity. 统一的可观测性数据平台 telegraf 看云网更清晰 Simplify the growing complexity. 挑战：数据孤岛、资源开销 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing complexity. OpenTelemetry的方法 统一的上下文 以追踪为核心 看云网更清晰 Simplify the growing complexity. OpenTelemetry的方法 Tag, Exemplars (TraceID, SpanID) Tag, TraceID, SpanID TraceID

, Ltd. All rights reserved. 云原生应用可观测性实践 向阳 @ 云杉网络 2021-12-08 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 可观测性 - What & Why 云原生社区可观察性SIG-定义 https://i logue/definition 阿里可观测性数据引擎的技术实践 https://mp.weixin.qq.com/s/0aVgtVCmBmtAgZE_oQkcPw © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1. 可观测性的成熟度模型 2. 构建内生的可观测性能力 3. 在混合云、边缘云中的实战 4 Ltd. All rights reserved. 可观测性的成熟度模型 1.0 基础支柱 2.0 ? 3.0 ? simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 1.0 支柱：基础的可观测性要素 Metrics, tracing, and logging

把自己关在小黑 屋里面，自己就 可以自助的从API 使用角度定义、 驱动研发、发布 或者实施与自己 APP的集成。 • API作为产品，可 以给订阅、可以 被交易。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-1 知道 知道的 不知道 不知道的 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发，首先需要有提示应用出问题的手段 等工具进一步从微观帮助研发人员定位和解决问 题，这是这里在业务上的价值-稳定性赋能。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-2 可观察性是云原生特别关注的运维支撑能力，因为它的主动性，正符合云原生对碎片变化的稳定性保障的思想 数据的全面采集 数据的关联分析 统一监控视图与展现 Metric 是指在多个连 续的时间周期 内用于度量的 KPI数值 Tracing 通过TraceId来 数据之间存在很多关联，通过 关联性数据分析可获得故障的 快速界定与定位，辅助人的决 策就会更加精确 根据运维场景和关注点的不同，以不同图表或者曲 线图来表示整体分布式应用的各维度情况，使得开 发人员可以清晰的观测到整体分布式应用的详细运 行情况，为高精度运维提供可视化支撑 人工发展阶段：符合人分析问题的习惯 宏观->微观 精细化发展阶段：依靠数据赋能，加强可视化能力，进一步简化运维 监控告警 分布式跟踪链

云原生四要素的基本含义 2020 年，云原生产业联盟发布《云原生发展白皮书》[1]，指出云原生是面 向云应用设计的一种思想理念，充分发挥云效能的最佳实践路径，帮助企业构建 弹性可靠、松耦合、易管理可观测的应用系统，提升交付效率，降低运维复杂度， 代表技术包括不可变基础设施、服务网格、声明式 API 及 Serverless 等。云 原生技术架构的典型特征包括：极致的弹性能力，不同于虚拟机分钟级的弹性响 系统、微服务、无服务和服务 网格等安全。二是具有云原生特征的安全，指具有云原生的弹性敏捷、轻量级、 可编排等特性的各类安全机制。在此基础上，未来云原生环境必将与云原生技术 的安全互相融合，成为统一的整体，并且将经历如下三个发展阶段： （1）安全赋能于云原生体系，构建云原生的安全能力。当前云原生技术发 展迅速，但相应的安全防护匮乏，最基础的镜像安全和安全基线都存在很大的安 全风险。因此， 成熟度评估模型，从服务化能力、资源弹性能力、可观测性、故障自愈能力、 自动化能力、无服务器化能力以及安全性等方面对技术架构进行评估。 4 云原生能力成 熟度模型 第 2 部分：业务应用 由中国信息通信研究院牵头编写，规定了基于云原生构建的业务应用的能力 成熟度评估模型，从服务架构、服务治理能力、弹性伸缩能力、业务高可用、 自动化与智能化、可观测性、开放性、组织架构以及安全性等方面对业务应

•要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控，每个监控对象一个标识即可，没有维度的设计 micrometer • 埋点方案尽量要全公司一套，规范统一，在代码框架层面内置，减轻各个研发团队的使用成本 Pod内的业务应用的监控 - statsd 数据流向 • 推荐做法：如果是容器环境，Pod 内 sidecar 的方式部署 statsd；如果是物理机虚拟机环境，每个机器上部署一 个 statsd 的 agent，接收到数据之后统一推给服务端 Pod-001 业务 容器 agent 能用指标解决的尽量就用指标 解决，不要用日志 • 如果是从第三方采购的产品， 我们也尽量要求供应商统一暴 露 prometheus 接口，也别去 处理日志 业务应用依赖的中间件 的监控 业务应用依赖的中间件的监控 • 典型的监控方案分3类，一类是 sidecar 方式，一类是动态改配置，最后一类是中心端统一采集 • sidecar 方式：中间件部署在容器里，比如 zookeeper 或 rabbitmq，直接暴露了

失。企业管理者终于意识到，云计算供 应商锁定会阻碍多云方法所带来的创造力、可用性和流动性。 • 云原生PaaS可以屏蔽多云的差异， 统一的不分何种云上的一致的运行 同一服务或者应用。 • 避免厂家锁定，客户可以自由选择 资源分布和费用组合，更加灵活。 • 中心云统一纳管运维和输出服务。 • 是一种以资源视角的云交付形式， 不同于混合云，底层云的资源使用 地位等同。 AWS Aliyun Azure • 企业IT文化、工作流程、知识体系、工具集的总合升级 • 应用架构升级 • re-platform • re-build • re-host • 运维模式升级 • 从传统面向操作规则的运维转变为面向观测数据的自动化运维 • 重新定义软件交付模式 • 整体打包交付 • Git=Single Version Of Truth • 声明式API • 尽量采用OpenAPI作为系统集成胶水 • 重塑研发流水线 大规模集群支撑集团“双十 一”，日交易额2684亿元 2 0 1 9 T4项目启动，容器调度技 术开始支撑集团的在线业 务，云原生时代开启 2 0 1 1 在线和离线调度系统打通混合 部署，底层资源池统一，支撑 百万级电商交易活动。 云原生技术全面商业化，容器 技术对外开放 2 0 1 7 云原生技术全面升级，阿 里巴巴原生用云， Serverless时代开始。 2 0 2 0

（3）满⾜12 因素 （4）可伸缩性 （5）可配置性 （6）基础可观测性 L2: 具备远程交付能⼒ （1）完全的模版化定义 （2）模版⾃动实例化 （3）数据⾃动初始化 （4）业务⾼容错性 （5）业务⾼可⽤性 L3: 具备持续升级能⼒ （1）⾼容错化数据升级 （2）⾼容错化版本升级 （3）版本可回滚 （4）业务⾼观测性 ⾯向交付的应⽤模型 第三部分 K8S资源的模型定义 03

生态与竞争格局分析 云原生赋能平台建设维度划分 微服务应用架构治理平台、 DevOps平台、 数据建模与大数据分析平台 用好云原生 容器云平台、边缘计算平台 建好云原生 容器安全、统一多云纳管、融合告 警、APM、云监控、中间件纳管.... 管好云 数 采 数 算 数 用 云原生赋能平台 标准化能力-分布式操作系统核心-容器服务 向上提供抽象化自愈IT运营视角 高效稳定应用资源供给 务化或被容器化，那么现在阶段来看，整个 数字化转型的一些困难就是处于在技术上的碎片化，为云原生彻底发挥对极端变化的适应性价值还有很多障碍。 在统一的K8s管理面下， 通过一种代理容器(内置 了管理虚拟机的逻辑） 来启动虚拟化Pod， 此时可以同时在统一的 容器云平台下运行微服 务化容器化或者未容器 化的传统软件了； 另一个方向是，将底层计 算、存储和网络进行超融 合，提供极其简单的底层 运维能力，进一步简化云 减少变更带来的风险:制品一致性、配置一致性、环境一致性 • 打通研发与运维:谁定义谁负责，平台提供业务OPS工具，减少研发和运维视角割裂带来的高成本 • 可以作为研发人员的唯一工作台，将底层技术收敛到统一平台上，减少企业研发管理成本。 运行态 任何微小的变化都可能引发故障，如何避免？ 任何变更都需要提交到git中，并经过版本管理后 重新持续集成，变更有痕迹可查，随时可以找到对 应版本的变更进行回滚。

资源组合为核心 kubernetes/StatefulSet Kubernetes/Deployment K8s 的原生资源组合 1. 复杂、难懂、门槛高 2. 能力局限，不同场景各不相同 3. 不统一，每一个模式需要重新编 写发布对接 K8s-sigs 的 Application 1. 只描述了应用产品元数据， 研发、运维无从入手。 2. 无人维护、缺乏活跃度。 3. 信息不足以对接发布。 无需系统更新或重启 Platform Builder 模型层能力注册 KubeVela 为什么能对不同 Workload 做统一发布？ 工作负载类型 ① 统一 类型注册和识别 健康检查 ② 统一 状态检查和回流 发布模式 ③ 统一 发布方式 资源模板 ④ 统一 抽象方式 KubeVela 中的渐进式发布实践 第三部分 面向终态模式--渐进式发布 发布策略定义 Application 第一次更新 ③ 第二次更新 控制器 循环 发布完毕 ComponentDefinition TraitDefinition Application snapshot (v1) 1) 统一从 Definition 中获取 应用工作负载类型和特征。 2) 根据策略按批自动灰度。 K8s Resource 发布单模式--渐进式发布 Application AppRevision

业界首个云原生批量计算平台 • 2019年6月开源，2020年进入CNCF，目前是CNCF孵化级项目 • 2.9k star，500+ 全球贡献者 • 50+ 企业生产落地 关键特性： 1. 统一的作业管理 提供完善作业生命周期管理，统一支持几乎所有主流的计算框架，如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 施，打造新一代大数据分析自助平台。 客户诉求: • 交互式服务、常驻服务、离线分析业务统一平台调度； • Job级别的调度管理，包括生命周期、依赖关系等； • 支持业界主流计算框架，如Spark、TensorFlow等； • 多用户公平分配资源，快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载； • Queue动态资源共享，DRF、优先级抢占 用户收益： 增长率8.1%； • DAP平台运行项目450+ Volcano大幅度提高大数据平台资源利用率 Kubernetes + YARN Kubernetes + Volcano 静态划分资源池 统一资源池 Kubernetes + YARN Kubernetes + Volcano 集群低负载场景 K8s资源池空闲，大数据业务无法使用 大数据业务可以使用集群整体空闲资源， 提高整体资源利用率