workload scheduling platform development l Gaps for Spark • Agenda l Why Spark on Kubernetes l Volcano solution for Spark l Future works Why Spark on Kubernetes Kubernetes extends beyond container About Spark on Kubernetes l https://github.com/apache-spark-on-k8s/spark l The goal is to bring native support for Spark to use Kubernetes as a cluster manager like YARN, or Mesos. l Spark 2.3 added Kubernetes. l Spark 2.4 added support for client mode, R, python etc. l Spark 3.0 will add support for dynamic resource allocation, external shuffle service, Kerberos etc. How it works Spark on Kubernetes

dynamic Short Duration 14 - 一键部署Spark集群 - 无需管理服务器节点 - 灵活弹性，无限扩容 容器调度与编排 Spark-Master Serverless Kubernetes集群 Demo: 基于Serverless Kubernetes的Spark数据处理 Worker-1 Worker-2 Worker-N Pod Pod Pod Pod Client spark-submit 开始使用 Get Started • 现开放区域：杭州、上海、美西，公测期间免费，欢迎试用 • 计划12月份正式对全体用户开放，开始商业化 • 控制台：https://cs.console.aliyun.com • 快速入门指南和Demo：https://yq.aliyun.com/articles/591115

�������� �� ���� Online service Batch jobs Category Online shopping web apps, payment service MR, spark, flink Latency Sensitive Insensitive Priority high low Traffic pattern Peak at day time Peak at if If segregating prod and non-prod workloads ����������� �������� ����������� �������� Retail spark search adds MR flink Sigma Fuxi Kubernetes YARN Node ���������� �� ��������� ������� ��� �����������

Serverless容器典型场景和客户价值 在线业务 弹性扩容 Serverless AI Serverless 大数据计算 CI/CD • 30s 500pod • 非预期突发流量 • 适用电商、在线教育等行业 • Spark／Presto • 高弹性低成本 • 免容量规划 • Jenkins/Gitlab-Runner • 低成本 • 强隔离 • 免运维 • 高弹性 • 低成本 Serverless

DynamicQuotaManager MultiClusterManager De-Scheduler Rosource Manage & Schedule Ceres Job Queue Manager Spark-Operator OfflineJobs Scheduler Kubeflow Hybrid Deploy StatefulSetPlus-Operator Tencent Cloud

Snowpark 是一个用于 Snowflake 大规模查询和处理数据的库。我们的团队使用它来编写可管理代码，用以与 Snowflake 中存储的数据进行交互 ——这类似于为 Snowflake 编写 Spark 代码。总的来说，它是一个引擎，能 够将代码转换为 Snowflake 能够理解的 SQL。您在构建应用程序时无需将 Snowflake 中待处理的数据移动到您 代码运行的地方。一个缺陷：单元

Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes 6