Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况： • 业界首个云原生批量计算平台 • 2019年6月开源，2020年进入CNCF，目前是CNCF孵化级项目 • 2.9k star，500+ 全球贡献者 • 50+ 企业生产落地 提供扩展性、吞吐、网络、运行时的 多项优化，异构硬件支持x86, Arm, GPU, 昇腾，昆仑等。 Volcano Global Kubernetes Volcano-controller Volcano-scheduler Kubernetes Volcano-controller Volcano-scheduler … Kube-apiserver Job/JobFlow Queue

batch system (Volcano) development • IBM spectrum computing - Cluster resource and workload scheduling platform development l Gaps for Spark • Agenda l Why Spark on Kubernetes l Volcano solution for Queue scheduling p Resource reservation p Binpack p Task topology p Zone aware scheduling p … Volcano: A Kubernetes native batch system Gaps for spark Architecture Gaps for spark Architecture 1 from apiserver and then start the container. Gaps for spark Spark on Kubernetes with volcano API-Server Volcano Scheduler Kubernetes master Podgroup Spark driver pod executor pod executor pod executor

958.7506461130560 1459 5 chaos-mesh/chaos-mesh 7177 421 745 1488 637 6 volcano-sh/volcano 692.3775535617090 921 6 volcano-sh/volcano 3384 295 323 697 241 7 karmada-io/karmada 671.0238190222060 1882 7 karmada-io/karmada 958.7506461130560 1459 5 chaos-mesh/chaos-mesh 7177 421 745 1488 637 6 volcano-sh/volcano 692.3775535617090 921 6 volcano-sh/volcano 3384 295 323 697 241 7 karmada-io/karmada 671.0238190222060 1882 7 karmada-io/karmada 年 4 月 KubeEdge Linux 基金会 CNCF 华为 2019 年 3 月 2020 年 9 月 ChubaoFS Linux 基金会 CNCF 京东 2020 年 1 月 Volcano Linux 基金会 CNCF 华为 2020 年 4 月 BFE Linux 基金会 CNCF 百度 2020 年 6 月 CNI-Genie Linux 基金会 CNCF 华为 2020

oam-dev/kubevela 1006.0651186399000 2135 5 chaos-mesh/chaos-mesh 958.7506461130560 1459 6 volcano-sh/volcano 692.3775535617090 921 7 karmada-io/karmada 671.0238190222060 1882 8 openyurtio/openyurt KubeEdge Linux 基金会 CNCF 华为 2019 年 3 月 2020 年 9 月 ChubaoFS Linux 基金会 CNCF 京东 2020 年 1 月 Volcano Linux 基金会 CNCF 华为 2020 年 4 月 BFE Linux 基金会 CNCF 百度 2020 年 6 月 CNI-Genie Linux

容器运行时 iSulad Docker Containerd Kusar StratoVirt Kata … 云原生业务调度 Rubik 在离线混布 Kmesh 高性能服务网格 Volcano Rancher RKE2/K3s KubeVirt … KubeSphere … Applications openEuler 社区项目 加入 openEuler 社区 立即体验

Maintainer & Contributor - Open source enthusiastic, previously Kubernetes active contributor and Volcano maintainer #IstioCon Agenda 1. TCP Original Address Preserve Background Demo 1. HTTP Original

Dynamic Partition Elimination 03 动态分区裁剪 公共表达式的下推 高效处理相关子查询 超过8年的投资，多位博士的长期贡献 基于Cascades / Volcano框架, Goetz Graefe 优化分布式大数据系统中特别复杂的查询 18 Madlib: 迭代并行模型训练 Master model = init(…) WHILE model not

KubeEdge让开发人员可以编写常规的基于http或mqtt 的应用程序在Edge或Cloud的任何地方运行。更轻松的 将复杂的机器学习、图像识别、事件处理等高级应用程 序部署到边缘 • Volcano是一个建立在Kubernetes上的批处理系统，可 对 承 接 应 用 程 序 通 常 运 行 多 种 通 用 领 域 框 架 ， 如 TensorFlow、Spark、Ray等进行集成。 •

Rainbow U+1F309 \:bridge_at_night: Bridge At Night U+1F30A \:ocean: Water Wave U+1F30B \:volcano: Volcano U+1F30C \:milky_way: Milky Way U+1F30D \:earth_africa: Earth Globe Europe-Africa U+1F30E

Rainbow U+1F309 \:bridge_at_night: Bridge At Night U+1F30A \:ocean: Water Wave U+1F30B \:volcano: Volcano U+1F30C \:milky_way: Milky Way U+1F30D \:earth_africa: Earth Globe Europe-Africa U+1F30E