群，然而在线业务、流式作业具有明显的波峰波谷特性，在波谷时段，会有大量的资源处于闲置状态，造成资源的浪 费和成本的提升。在离线混部集群，通过动态调度削峰填谷，当在线集群的使用率处于波谷时段，将离线任务调度到 在线集群，可以显著的提高资源的利用率。然而，Hadoop Yarn目前只能通过NodeManager上报的静态资源情况进行分配， 无法基于动态资源调度，无法很好的支持在线、离线业务混部的场景。 组织架构造成额外的成本 主要体现在Yarn的复杂性 主要体现在领域专业性上 应用改造成本高：将运行在Hadoop平台的大数据应用迁移到云原生平台，一方面需要大数据团队将业务应用进行 容器化改造，如系统任务的启动方式、基础设施的适配（环境变量、配置文件获取方式的变更等），这些都需要 大数据团队来做适配，在资源管理的方式，则从适配Yarn修改为适配Kubernetes，总体改造成本比较高；另一方面， 需 Hadoop Yarn计算节点 Yarn-ResourceManager Hadoop Yarn管理节点 已有的Hadoop集群 注册|任务下发 Yarn-NodeManager Yarn-NodeManager Hadoop Yarn计算节点 K8S集群 注册|任务下发 渐进式演进方案主要有弹性扩缩容和离在线混合部署两种模式，两个模式的侧重点略有不同 • 弹性扩缩容主要聚焦于如何利用云原生资源

传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang-scheduling、Fair-share scheduling • 不支持多场景的Resource reservation，backfill 统一的作业管理 提供完善作业生命周期管理，统一支持几乎所有主流的计算框架，如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列，队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化，并结合 resource support • 首个Batch调度器 ü 2022年Volcano成为Spark on kubernetes的首个 batch调度器 ü 1.5K Pod/s 的大规模批量任务调度能力 Spark基于Volcano的用法 1. Specify custom scheduler 2. Specify custom feature step 3. Specify scheduler

1 16 14 0 50 100 150 200 250 本单位 省公司 省公司（直投） 专业公司 入驻项目数 工程类 研发类 新业务开发 87055条/个 平台管理的需求、任务、缺陷、文档、镜像等数字资产 10.43亿 平台管理的业务或应用代码行数 215.87万 平台进行代码质量扫描、代码安全扫描、镜像安全扫描、整体安全扫描量 183.81万 提交代码、构建、部署总次数，其中x86构建16 微隔离软件对容器 运行实时监测。 生产运营 生产上线 UAT测试（验收测试） 发版前测试 自动化集成与部署 应用开发阶段 需求阶段 业务需求输入 需求 分析 用户故事拆 分 开发任务拆 分 迭代 规划 IDE 编码 代码 编译 打包 制品库 制作 镜像 镜像库 接口 测试 UI测试 功能系统测 试 测试报告输出 镜像库 性能/容量 测试 功能验收测

的耗时分布，histogram类型，按 照 url + verb 统计 • workqueue_adds_total 各个 controller 已处理的任务总数 • workqueue_depth 各个 controller 的队列深度，表示一个 controller 中的任务的数量，值越大表示越繁忙 • process_cpu_seconds_total 进程使用的CPU时间的总量，rate 之后就是 CPU 使用率

者编写 好的代码，自动准备好相应的计算资源，完成运算并输出结果，从而大幅简化开 发运维过程。无服务器计算作为事件驱动架构，将工作负载分解成多个无缝隔离 的执行环境，每个执行环境都承载着一个特定任务并负责处理一个单独事件，在 时间与空间中各自运行。例如，基于 Knative[21]实现的 Serverless 架构将无服 务抽象为三个关键的组件，分别为构建应用的 build 组件、提供流量的 生应用的架构和拓扑结构可以在几秒钟内发生变化，这对安全也是巨大的挑战。 同时由于云原生生态开源，以及基础设施的重要性，云原生安全态势管理（KSPM） 相关能力建设成为必要。 （1）资产管理 资产管理是一项关键任务，它涵盖了云基础设施、应用程序和服务的全面管 理。在云原生环境中，至少需对集群中 POD、Service、Namespace 等资产进 行统计，并进行关联性分析，形成多集群的统一可视化管理控制台。针对相关资

全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS 服务注册发现 配置中心 RPC HTTP HTTP HTTP HTTP 调度分配 斯凯奇 云原生网关最佳实践 配置管理最佳实践 服务和路由规则 预案 限流 开关 动态UI